出典・テーマ・日時から、気になるニュースを見つけられます。
arXiv:2610.33017v1 発表タイプ：新規 要旨：英語主体のコーパスで学習された多言語トークナイザーは、しばしばインド系言語を過剰に分割し、その結果、トークン列が長くなり、各文字体系間でのトークナイズ化の不均衡が拡大する。本研究では、Unicode正規化による前処理と明示的なインド系結合文字処理、文字体系意識に基づくルーティング、さらに小規模なTransformer言語モデルと共同で学習されるバイト単位の境界予測を組み合わせた、インド系言語に特化した適応型トークナイゼーション拡張であるAdaptTok-Indicを提案する。ベンガル語およびヒンディー語において評価を行い、さらにグジャラート語、タミル語、テルグ語についても追加評価を実施した結果、AdaptTok-Indicは、インド系言語向けのベースラインであるSentencePiece BPEおよび独立して実装されたMAGNETスタイルのベースラインよりも低いトークン肥沃度を達成した。5つの記録済みの
arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時点で入手可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測精度のいずれかを検証しているにすぎない。
arXiv:2610.33036v1 発表タイプ：新規 要旨：スピーキングスタイルキャプション（SSC）は、声の音色、プロソディー、表現力といったパラリンギスティックな属性を捉えながら、話し方そのものを自然言語で記述することを目的としています。会話型AIエージェント、制御可能な音声生成、大規模な音声アノテーションなど、多くの下流アプリケーションでは、単一で区別されない記述ではなく、話し手の特性や感情、発話スタイルなど、特定の側面を対象とした次元別のスタイルキャプションが必要とされています。しかし、既存の研究には、制御可能なスピーキングスタイルキャプションに関する統一的な定式化が欠けています。本研究では、このギャップを解消するため、SSCを指示に従う音声・言語タスクとして定式化し、明示的な指示によってスピーキングスタイルの次元を指定する手法を提案します。
arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映できない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用の視覚言語モデル、および汎用の視覚言語モデルを比較する。全体的な転写精度にとどまらず
arXiv:2610.32114v1 発表タイプ：新規 要旨：AIアライメントの進展を加速するためのアプローチの一つは、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持しているかどうかの評価など、監督が困難な研究タスクにおいても信頼性高く機能するシステムが必要となる。この能力を評価するため、私たちはTampered MLを導入する。これは、公開されている機械学習論文から再構築された実験提案と、対象とする方法論的欠陥を意図的に導入した最小限の編集を施した反事実のペアからなる1,858件のベンチマークである。モデルは、提示順序が逆でも、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルを用いた人間による検証研究では、全体の86%が…
2026年10月26日、arXivは論文arXiv:2610.31838v1を公開し、Sense-Aligned Grounding Evaluation（SAGE）——統一された10候補画像選択基準——を提案するとともに、名詞・動詞・実体中心の多モーダルなグラウンディング評価を実施するための、学習非依存型のGloss-Augmented Reasoning（GAR）フレームワークも併せて提示した。
注目する理由：本研究は、VWSD、VerSe、WikiDiverseの3種類のタスクを用語中心のグラウンドトゥルース評価プロトコルに統一し、混同行動による難負例の導入とコンテキスト交換による診断メカニズムを提案しました。さらに、定義の強化と制約による推論の誘導が協調して作用することでHits@1指標を大幅に向上させること（65.90→71.22）を実証し、マルチモーダルな意味対応の評価においてより細粒度で解釈可能な新たなパラダイムを提供しています。
arXiv:2610.32632v1 発表タイプ：新規 要旨：RISC-Vは高性能計算（HPC）向けのアーキテクチャとして注目を集めているが、既存の研究では使用するプラットフォームやワークロード、手法が異なり、エネルギー効率をほとんど考慮していないため、既存のx86およびArmプロセッサに対する競争力の評価は依然として困難である。本研究では、共通のソフトウェアスタックと評価手法を用いて、最新のHPC向けRISC-V、Arm、x86プロセッサを比較評価した。具体的には、Sophgo SG2044を特性評価し、NVIDIA Grace CPU SuperchipおよびIntel Xeon Platinum 8480+と比較して、4つのHPCベンチマーク（STREAM、HPL、HPL-MxP、HPCG）および4つの代表的なアプリケーション（iPIC3D、PLUTO、OpenFOAM、llama.cpp）について検証を行った。なお、本研究で使用したHPL-MxPのバージョンは、OpenBLASとリンクされ、コンパイル・実行されたものである。
arXiv:2610.32024v1 Announce Type: new Abstract: Task instructions from users for agents are inherently underspecified, especially regarding safety boundaries--creating behavioral risks. To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions. In this benchmark, we evaluate agent behavior against safety boundaries established by workspace records, implicit environmental context, and unstated social norms. For example, an agent asked to schedule off-boarding discussions must arrange the meeting without prematurely revealing an employee's resignation through a shared calendar invitation. Evaluating four frontier model configurations across five attempts per task reveals that m
翻訳待ち・原文を表示中 · enarXiv:2610.31863v1 発表タイプ：新規 要旨：農業機械がインテリジェントでオフラインの支援を提供するためには、システムが技術文書に動的にアクセスできる必要があります。本論文では、ISO 11783ベースのCANバスを介したオペレーター用マニュアルのセマンティック同期について分析を行いました。これは、トラクター側のアシスタントのローカルな知識ベースを、接続された作業機のオペレーター用マニュアルと整合させるプロセスとして定義されます。データ転送性能はMarkdown、JSON、XMLを用いてベンチマークされ、また、複数のオープンウェイトの大規模言語モデル（LLMs）についても、多言語間のクエリタスクにおいて評価を行いました。回答の自動評価は、4名のヒューマンラベラーによる評価と比較して検証されました。完全なマニュアルは、物理的なISO 11783ネットワーク上で、使用する機能に応じて31秒から89秒の間に転送されました。
arXiv:2610.31972v1 公開タイプ：新規 抄録：ライブで変動する企業データを基に動作する対話型エージェントの評価は困難である。再現されたセッションはバックエンドの状態変化に伴ってずれてしまい、今日作成されたベンチマークであっても、その対象となるデータが更新・進展するにつれて、気づかないうちに古くなってしまうからだ。本稿では、運用中の対話型エージェント向けのオフライン評価ハーネスを提案する。このハーネスは、対象とするライブデータが変化しても再現性を維持し、一度古くなった場合でも必要に応じて再生成できる。さらに、本ハーネスを用いて、報酬ハッキングを防止する正しさのゲート下でGEPAベースのプロンプト最適化を行う際の適合度関数として活用した。実際の商業向けエージェントに適用した結果、正しさのゲート付き圧縮により、保持されたタスクの正しさを低下させることなく、エージェントの全プロンプト領域を3.5〜7.6%削減できた。
arXiv:2610.31986v1 発表タイプ：新規 要旨：視覚言語モデル（VLM）は、記録された映像を解釈し洞察を提供するため、消費者向けスマートホームカメラシステムにおいてますます広く採用されています。しかし、スマートホームカメラで撮影された動画クリップは、既存のVLMベンチマークを支配しているキュレーション済みのウェブ動画とは異なります。スマートホームの動画クリップには字幕やナレーションが付いていないことが多く、異なる視点から、さまざまな照明条件下で、多様なシナリオにおいて撮影されています。一方で、こうした希薄な視覚信号と限られた文脈下におけるモデルの性能は、既存のVLMベンチマークでは十分に評価されていません。このギャップを埋めるため、私たちはスマートホーム映像理解の評価を目的とした、視覚のみの四択形式のベンチマークであるOpenHomeを提案します。I
arXiv:2610.32229v1 発表タイプ：新規 要旨：8ビット未満の演算で大規模言語モデル（LLM）を訓練することは、メモリ帯域幅と計算スループットの大幅な向上を約束する一方で、FP4フォーマットでは、適切に対処しなければ最適化を不安定にするほど深刻な量子化誤差が生じます。本稿では、MXFP4マイクロスケーリングフォーマット下のMLPerf Small MoE Trainingベンチマークにおいて、200億パラメータを持つ混合専門家モデル（MoE）であるGPT-OSS-20B向けのオープンソース訓練レシピALTOを提案します。このレシピは、Abecassis、Felixらによる[arXiv:2509.25149]に示された確立された手法（ハイブリッド1D/2Dブロック量子化、ランダム化ハダマード変換、および確率的丸め）に加え、TetraJet-v2[arXiv:2510.27527]から採用した簡略化された重みのデオシレーション手法を組み合わせています。グローバルバッチサイズにおけるC4検証において
arXiv:2610.32115v1 発表タイプ：新規 要旨：スパースな専門家混合モデル（MoE）は、ニューラル機械翻訳（NMT）のスケーリングおよび言語の多様性の管理において強力なパラダイムである。しかし、実用上の制約により、リソースが限られたデバイスへの導入は困難である。具体的には、全専門家プールをメモリ上に常駐させる必要があり、さらに各トークンごとの計算リソースは、トレーニング中に厳格なトップ-k ルーティングによって静的に固定されるためである。本研究では、EDWARD-NMT（Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT）を提案する。これは、一度学習させればどこでも展開可能なパラダイムを実現するための新しいMoEエンコーダー・デコーダー構造であり、推論時には複数の展開可能なサブネットワーク群を提供する。EDWARD-NMTは、以下の三つの重要な革新を統合している：(i) マトリョーシカ型の弾性次元を用いてメモリフットプリントを柔軟に削減する手法；(ii) a
2026年10月26日付のarXivに掲載された最新の研究（arXiv:2610.31821v1）によれば、古典アラビア詩の検索タスクにおいては、ユーザーの詩句の記憶残存度（例えば半行を覚えているかどうか）が、モデルの性能よりも検索精度を決定する上でより重要な要因であることが示されています。BM25は、「舌尖効果」系のクエリでは、8Bパラメータの最先端モデルを含むすべての稠密符号化器を上回る一方で、抽象的なクエリでは大きく劣後することが明らかになりました。
注目する理由：本研究は、二重コーパス、三重インデックス方式、および二重評価プロトコルによる体系的なベンチマークテストを通じて、クエリの抽象度が異なる検索パラダイム（形態素ベース対稠密ベクトル）に与える支配的な影響を初めて定量的に明らかにし、人間のアノテーターとオープンソースの重み付けモデルによる二重検証を経て、その結論は方法論的普遍性と実証的堅牢性を備えている。
arXiv:2610.31945v1 公告タイプ：新規 要旨：本報告書では、Apache 2.0ライセンスの下でオープンウェイトとして公開された、総パラメータ数781億、トークンあたり有効パラメータ数34.6億の英語–ドイツ語混合専門家型トランスフォーマーであるKolibriを紹介します。Kolibriは主権的かつ専門的な展開を想定して構築されており、特にドイツ語および公共行政、産業、航空宇宙といった規制対象分野に重点を置いています。これらの環境に対応するため、データ、アーキテクチャ、学習インフラ、学習後の処理、評価に至るまで、モデル開発の全プロセスを自社で管理しています。Kolibriは、事前学習、中間学習、長文コンテキスト拡張の各段階にわたり、合計24Tトークンを用いて学習を行っており、データ構成においてドイツ語がバイト数ベースで20％以上を占めています。この割合を達成するため、ドイツ語データセットを補完する形で
arXiv論文（2610.31678v1）は、対話型の大規模言語モデルの評価において、自動スコアラーの全体的な正答率やF1スコアだけに依存すると、プロンプト固有の誤りが隠れてしまい、プロンプト効果の誤った判断につながると指摘している。実証結果では、同一のスコアラーでも異なるプロンプト条件下で偽陽性率に大きな差（2.6%～33.3%）が生じ、表面的には有意と見られる9.3ポイントの効果も、二重のLLMによるレビュー下では2.3ポイントに縮小し、統計的に有意ではなくなった。
注目する理由：本研究は、実際の実験データ（6つのモデル、180個の架空のエンティティに関する質問、6種類のプロンプト条件）に基づき、現在のLLM評価において広く見られる方法論上の欠陥——すなわち、スコアラーの全体的な性能を重要な比較タスクにおける信頼性と同一視する——を明らかにしています。その核心的な主張（各プロンプトを個別に検証し、不確実性を考慮に入れる必要がある）は、明確な実証的根拠と実践的な提言に裏打ちされており、発表日（2026年10月26日）も新鮮で、出典も信頼できるarXivプレプリントプラットフォームです。
arXivで2026年10月26日に公開された論文「MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring」は、MISCONCEPTDIALOGUEという自動評価フレームワークを提案し、5,000回超の対話に基づいて、数学チューターとしての性能を評価するため、7B～14B規模のオープンソース小パラメータLLM 5種類をテストしました。研究結果によると、主流の正確一致（exact-match）評価手法では救済成功率が42.1%にとどまる一方で、人間による校正を経たLLM審判による同一対話の評価では81.3%に達し、その差は39.2ポイントに上りました。しかもこの偏差は偶然によるものではなく、4種類のLLM審判と200件の人工ラベル付け結果との間で高い一致性が確認され（kappa値は最大0.91）、さらにモデルは診断情報（正しい／誤った概念）に対する応答にほとんど差がないことから、診断入力を有効に活用できないことが示されました。
注目する理由：本研究は、現在のLLM教育応用における評価手法の根本的な欠陥を明確に指摘している。すなわち、単一で硬直的な自動採点に依存することは、実際の能力評価を大きく歪めてしまうおそれがあることである。さらに、大規模なシミュレーション実験の設計、複数の評価者による収束検証、ならびに診断と指導の連携の不備に関する実証を通じて、AI教育評価の標準化に向けて重要な警鐘と再現可能な方法論的基準を提示している。
2026年10月24日、研究者はarXivに論文arXiv:2610.30841v1を公開し、テキスト・画像・音声の三モーダルな協調による曖昧さ解消能力を評価するための新たな評価フレームワークであるTRIADベンチマークを正式に発表しました。このベンチマークは、手作業で構築された327件の三モーダルサンプルを含み、86のシナリオグループと18種類の跨モーダルな曖昧さのタイプを網羅しています。
注目する理由：この成果は、現在の多モーダル大規模モデル評価における核心的な盲点を直接突いています。すなわち、既存のベンチマークでは、多焦点かつ確定的な入力条件下での知覚や推論にのみ注目しているのに対し、TRIADは初めて「モーダル補完による曖昧さ解消」を評価目標として体系的に設定しました。厳密に設計された留一モーダル反事実テストを通じて、モデルが特に音声に対して十分に活用されていないことや、シーンレベルでのロバスト性が脆弱であるといった重要な欠陥を明らかにし、次世代の全モーダルモデル評価に向けて再現可能な診断プロトコルと分類法を提供しています。
arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6
翻訳待ち・原文を表示中 · en2026年10月24日、研究者はarXivに論文arXiv:2610.30162v1を公開し、大規模言語モデルの融合手法の評価に特化した初の統一ベンチマークであるFusionEvalを提案しました。同ベンチマークは、推論チェーンの長さやツール呼び出しといった脆弱な部分を網羅しており、学習型と非学習型の融合手法の比較も可能にしています。
注目する理由：このベンチマークは、既存の評価において長鎖推論とツール利用へのカバーが不十分であった点を補完し、平均性能と最悪時の能力保持を明確に区別するとともに、Qwen3／Llamaに基づく再現可能な専門家プール、GPUメモリや実行時間などの多次元指標、およびオープンソースコードを提供しており、高い実践的指導性を備えています。
