跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

在 MXFP4 上训练 MoE 大型语言模型:我们如何缩小与 BF16 的差距

arXiv:2610.32229v1 发布类型:新 摘要:在低于8位的算术运算下训练大型语言模型(LLMs)有望显著提升内存带宽和计算吞吐量,然而FP4格式引入的量化误差若不加以处理,将严重扰乱优化过程。我们提出ALTO,这是一种开源的训练方案,用于在MLPerf小型MoE训练基准测试中,以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型(MoE)。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术(混合1D/2D块量化、随机化哈达玛变换以及随机舍入),并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在全局批量大小为C4的验证集上

事件进展与其他报道

EDWARD-NMT:用于神经机器翻译的自适应路由与双重一致性弹性维度

arXiv:2610.32115v1 发布类型:新 摘要:稀疏混合专家(MoE)是一种强大的范式,可用于扩展神经机器翻译(NMT)并应对语言异构性。然而,实际限制阻碍了其在资源受限设备上的部署:整个专家池必须常驻内存,且在训练过程中,每个标记的计算预算由严格的 top-k 路由机制静态固定。我们提出了 EDWARD-NMT(用于 NMT 的弹性维度与自适应路由及双重一致性),这是一种新颖的 MoE 编码器—解码器架构,旨在实现“一次训练、随处部署”的范式,并在推理时提供一系列可部署的子网络。EDWARD-NMT 集成了三项关键创新:(i) 采用套娃式弹性维度,以灵活降低内存占用;(ii) a

事件进展与其他报道

科利布里:帕累托前沿上的主权欧洲模型

arXiv:2610.31945v1 发布类型:新 摘要:本报告介绍了 Kolibri,一种英德混合专家Transformer模型,总参数量为781亿,每token的活跃参数量为34.6亿,并以Apache 2.0许可证公开发布其权重。我们构建Kolibri旨在支持主权化与专业化部署,尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为满足这些应用场景,我们全程把控模型研发流程,涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用24T tokens进行训练,其中德语数据在字节层面占比超过20%。为实现这一比例,我们通过补充德语数据集来

事件进展与其他报道

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution

arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6

译文排队中,当前为原文 · en
CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution
事件进展与其他报道

FusionEval发布:面向大语言模型融合的新基准测试

2026年10月24日,研究者在arXiv发布论文arXiv:2610.30162v1,提出FusionEval——首个专用于评估大语言模型融合方法的统一基准,覆盖推理链长度、工具调用等薄弱环节,并支持训练型与免训练型融合方法对比。

FusionEval: Benchmarking Model Fusion for Large Language Models

推荐理由:该基准填补了现有评测对长链推理与工具使用覆盖不足的空白,明确区分平均性能与最差能力保留,提供可复现的专家池(基于Qwen3/Llama)、多维指标(含GPU内存与运行时)及开源代码,具强实践指导性。

事件进展与其他报道

arXiv新论文对比紧凑编码器的联合评分与逐选项评分性能

2026年10月24日,arXiv发布论文arXiv:2610.30970v1,系统评估参数量介于1700万至10亿之间的紧凑编码器在闭合集决策任务(如工具选择)中的设计选择:联合阅读所有选项 vs. 逐个独立评分。研究发现,在3200万参数规模下,逐选项评分在技能指标上显著优于联合评分;但其计算开销更高、延迟更不均衡。多个System1-Arena基准测试显示,6800万和1.5亿参数的联合编码器超越4.35亿参数DeBERTa-v3零样本分类器。

Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters

推荐理由:该论文提供了当前大模型下游决策模块轻量化设计的关键实证比较,涵盖架构选择、初始化依赖、延迟-精度权衡及输入顺序鲁棒性等工程关切点,数据基于三随机种子实验与公开/私有基准验证,发布时间(2026-10-24)与当前UTC日期(2026-10-25)一致,属最新可信研究进展。

事件进展与其他报道

NVIDIA发布Kumo Relational:首个无需训练即可超越监督学习的结构化数据基础模型

NVIDIA推出预训练关系型基础模型Kumo Relational,可直接在企业级关系数据库上执行预测任务(如流失、欺诈、需求预测),无需任务微调、特征工程或表扁平化。在41项跨15个数据库的基准测试中全面超越XGBoost等监督模型,在SAP SALT企业基准上MRR指标领先AutoGluon达8%;支持5000亿行规模数据库,通过Predictive Query Language(PQL)实现零代码预测调用。

事件进展与其他报道

ALTK-Evolve:无需模型权重更新,仅靠学习型记忆在τ²-bench客服基准测试中登顶

IBM研究院提出ALTK-Evolve方法,通过GPT-4.1自动从自身任务轨迹中提炼结构化行为指南(如身份认证、退款确认等),以纯提示工程方式注入ReAct代理系统,在不更新模型权重、不依赖人工标注的前提下,显著提升客服任务的准确率与可靠性;其零售分支以67.5% Pass⁴成绩位列τ²-bench 2026年10月12日榜单第一,超越所有前沿模型及微调系统。

事件进展与其他报道

ReviewBench: An open benchmark for AI code review

We’re launching ReviewBench, a benchmark for code review agents built on representative GitHub pull requests, multi-source ground truth, calibrated evaluation, and production-aligned metrics. The post ReviewBench: An open benchmark for AI code review appeared first on The GitHub Blog.

译文排队中,当前为原文 · en
事件进展与其他报道