見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.32101v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。
arXiv:2610.33008v1 公告タイプ：新規 要旨：拡散型大規模言語モデル（dLLMs）は、反復的なマスク付きデノイズングによって柔軟な生成を実現する一方で、デノイズングの各ステップにおいてトークン表現を繰り返し再計算するため、推論コストが大幅に増加します。既存のキャッシュベースの手法では、デノイズングの各ステップ間で中間結果を再利用し、各ステップごとに固定スケジュールまたは変化を示すヒューリスティック信号に基づいて選択された一部の位置のみを再計算することで、このコストを低減しています。一方、我々の軌跡実験は、むしろデコード軌跡こそがより重要な指標であることを示唆しています。キャッシュによる生成は、完全なデノイズング軌跡に近い状態を維持している限り精度を保ち、誤差は主にマスク順序の逸脱に集中し、参照プレフィックスが長くなるほど減少することが明らかになりました。これにより…
arXiv:2610.33015v1 発表タイプ：新規 要旨：長期記憶は、大規模言語モデル（LLM）エージェントが個別化されかつ時間的に一貫した対話を維持することを可能にするが、記憶の取り込み・抽出・整理のためにLLMによる推論を繰り返すと、大きなコストと遅延が生じる。本研究では、顕著性に基づく取り込みと述語中心の情報抽出を組み合わせた軽量な記憶フレームワークSLICE-Memを提案する。コンパクトな分類器が保持すべきユーザの発話ターンを識別し、意味依存関係に基づく抽出器が取り込まれたターンを簡潔な記憶エントリに変換する。このオンライン処理パイプラインは生成型LLMへの呼び出しを一切必要とせず、エントリ間の照合はオフラインの統合段階に委ねられる。我々はMemoraおよびLongMemEval-Sの週次サブセットに対して、8B aを用いてSLICE-Memを評価する。
arXiv:2610.32997v1 発表タイプ：新規 要旨：OpenAIのWhisperなどの自動音声認識（ASR）モデルは、音声認識の精度を大幅に向上させていますが、特に大量のトランスクリプト付き音声データが利用可能な場合でも、ファインチューニングには高いコストがかかります。そのため、多くの実務者がこれらのモデルを新たな言語や領域に適応させるのは困難です。本研究では、ASRのファインチューニングに用いるためのより小規模な学習セットを選択する、埋め込みベースのサブセット選択手法を提案します。Whisperの事前学習済みエンコーダを用いて、各音声サンプルを固定次元の埋め込み空間へ写像し、貪欲なk-センター法を適用して、多様で代表性のある学習データのサブセットを選び出します。本手法をヘブライ語およびデンマーク語に対して評価した結果、k-センター選択はしばしば
arXiv:2610.33005v1 発表タイプ：新規 要旨：エネルギー基盤モデルは、ドメイン固有のタスクにおいて有望な特性を示しているものの、汎用的なシナリオのモデリングには依然として課題が残っています。このギャップを埋めるため、私たちは基礎的な言語モデリング向けにエネルギー駆動型モデル（ESM）を設計しました。ESMは、エネルギーによる探索を活用してトークン生成を精緻化するため、エネルギー駆動とトークン生成を単一のアーキテクチャに統合しています。具体的には、まずエネルギー景観上での潜在状態を最適化し、次いでその精緻化された潜在状態を用いてトークン生成を行います。大規模コーパス上でこのようなエネルギー駆動型の事前学習を実施することで、ESMは一般的に有効なエネルギー景観を学習し、好ましいトークンが低いエネルギー値に対応することを確立します。ESMのスケーリング特性を検討するため、私たちはESMを事前学習させます
arXiv:2610.33063v1 発表タイプ：新規 要旨：展開された視覚モデルは、確信度の高い予測を自動的に受け入れるため、高確信度の誤りが静かに拡散してしまう。標準的な故障予測手法である最大ソフトマックス確率（MSP）には構造上の盲点がある。すなわち、分類器ヘッドから読み取られるスカラー値として、その確信度勾配に直交する特徴空間の変動に対して一階的に無力である。特徴空間上の検出器に関する要因分析を通じて、それらがMSPを補完できない理由を説明する条件付き冗長性原理を明らかにする。すなわち、それらが測定するクラス間分離の幾何学的特性は、既にMSPに符号化されており、融合によって崩壊してしまうのだ。そこで生き残る信号は、マンフォールド外の残差に対するクラス条件付き典型性であり、さらにこの残差の分布はバックボーンによって異なり、ほぼ正規分布から重い裾尾まで多様である。
arXiv:2610.33044v1 発表タイプ：新規 要旨：身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要がある。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存する。専門家ルーターは内部計算を適応させる一方で、ツール拡張型システムは外部証拠を獲得する。これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性がある。そこで我々は、能力専門家、オプション知識、知覚ツールを統合的に選択する制限付きフレームワークであるEKT-Routerを提案する。結果に基づくシグネチャーは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現する。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行う。取得後、パケット検証器が有効なものを承認する
arXiv:2610.32103v1 発表タイプ：新規 要旨：創薬において、リード最適化では、透過性の向上や毒性の低減といった相反する特性を改善しつつ、リードの活性を損なう可能性のあるスケルトン変更を抑制しなければなりません。C-MORAL などの強化学習ベースのポストトレーニング手法は、分子言語モデルを微調整することで、関心のある目的に対して分子リードを直接最適化するというアプローチを採用していますが、これには高価なタスク固有のデータセットが必要であり、多目的最適化（MOO）の実現にも課題が伴います。我々は、事前学習済みモデルには、ゼロショット生成では効率的に到達できない有用な分子編集がすでに含まれている可能性があると主張します。ゼロショット生成の探索能力の限界に着目し、我々は効率的なメトロポリス・ハスティングス探索戦略を開発し、ベット
arXiv:2610.34521v1 発表タイプ：新規 要旨：主流のランタイム上のアクターフレームワークは、Erlang/OTPスタイルの監督を謳っていますが、OTPの整合性契約は同期的でシングルスレッドの監督者を前提としており、ポートもその前提の欠如を未検証のリスクとして引き継いでいます。私たちは、固定されたリビジョンにおけるさらに3つのRust製アクターフレームワークのソースと、文言通りに読んだOTPのドキュメントおよびソースコードを基に、各監督保証を評価し、それぞれの設計決定の裏付けとなる証拠を記録しました。盲目的な対抗審査とフレームワーク間の比較研究により、24種類の不具合クラスが浮き彫りになり、そのうち8つは単一の根本原因に帰着します。すなわち、同期的な監督者が暗黙的に得ているアトミック性を、明示的なメカニズムによって再構築している点です。私たちは、監督実行時環境を導入します…
arXiv:2610.32429v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）エージェントは、サブエージェントが実行中にメインエージェントが作業を継続し、その結果が到着する前にタスク状態が変化することもあり、ますます非同期的にタスクを実行するようになっています。メインエージェントは、禁止された変更を避ける一方で、どの処理を更新または保持し、どのチェックを再実行すべきかを判断しなければなりません。タスクの最終的な成功だけでは、これらの結果が正しく処理されたかどうかを示すものではなく、自然な非同期的な到着パターンは再現が困難です。私たちは、LLMエージェントにおける非同期タスク実行のベンチマークであるAsync-RBenchを提案します。このベンチマークには、8つのシナリオを網羅する200の実行可能なタスクが含まれています。シナリオコントローラーは、事前に定義されたタスク状態条件に基づいて結果の配信を制御し、イベント応答契約（ERC）は各応答が何を意味するかを明示します
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
arXiv:2610.33012v1 発表タイプ：新規 要旨：ツール利用を備えた大規模言語モデル（LLM）エージェントは、同一の状態から独立した実行を行った際、異なるツールを呼び出したり、矛盾する出力を生成したり、互いに異なる戦略を採用したりと、一貫性のない挙動を示します。この変動性は時間の経過とともに累積し、デプロイメントの信頼性を損ないます。既存の評価指標は主に完了ベースのスコアによってタスクの正しさを測定しており、実行間におけるエージェントの振る舞いの一致性を捉えられていません。一方で、エージェントの振る舞いは、確率分布を用いたトークンレベルでの分析や、意味クラスタリングによる単一応答レベルでの分析が行われていますが、いずれも軌跡上の将来のターンにわたって不一致がどのように伝播していくかを捉えることはできません。そこで私たちは、Recursive Semantic Divergence（RSD）という手法を提案します。これは未使用の…
arXiv:2610.33007v1 発表タイプ：新規 要旨：統合された地上系および非地上系（TN/NTN）6Gネットワークにおける自然言語によるサービスインテントは、不完全であったり曖昧だったり、一貫性を欠いていたりするため、信頼性の高いネットワーク向けオーケストレーションを実現するには、制約のないLLMによる生成が困難です。本論文では、文法に基づく制約付き意味解析と知識グラフ（KG）駆動型の明確化ループを組み合わせた、知識主導型LLMフレームワークを提案し、代表的な4つのサービスクラスにわたって検証済みでオーケストレーションに適したサービスプロファイルを生成します。200サンプルからなるインテントデータセットにおいて、このフレームワークは89％の分類精度と95％のポリシー妥当性を達成し、リクエストあたり平均0.66回の明確化ターンを実現しました。純粋なLLMベースラインと比較すると、提案するフレームワークはポリシーの妥当性を向上させ、共…
arXiv:2610.33039v1 発表タイプ：新規 要旨：私たちは、ローカルなエージェント型ワークロードにおいて、使用するメモリ1GBあたりの速度と知能を最適化したハイブリッドMamba-Transformer視覚言語モデルであるNemotron 3.5 Bolt 74B-A9B 24GBを紹介します。Nemotron 3.5 Super VL 120B-A12Bモデルファミリーを基に構築されたNemotron 3.5 Bolt 74B-A9B 24GBは、メモリ制約下での展開向けに、Star Elastic圧縮と2ビット量子化意識型蒸留を組み合わせています。本モデルは推論、エージェントによるツール利用、およびウェブや端末との対話に最適化されています。また、当社は本モデルと同時に公開するLiLiCorrスペキュラティブドラフト生成器も訓練し、目標とする推論速度の達成を目指しました。その結果得られたモデルは、一般的なエージェント型タスクに関する多数のベンチマークにおいて、同程度のメモリフットプリントと速度を持つ最先端モデルよりも高い精度を実現しています。
arXiv:2610.33019v1 発表タイプ：新規 要旨：マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細かな証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に応えているものの、エピソード記憶における証拠の網羅性と統合性、そして潜在記憶における事実の基盤形成という限界により、タスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前知識として統合し、同時に、検索条件に基づいた共同アライメントによって正確な証拠の再構築を可能にする多インデックス型エピソード記憶を組み合わせたものである。At i
arXiv:2610.31981v1 発表タイプ：新規 要旨：最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。
arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。
arXiv:2610.33275v1 発表タイプ：新規 要旨：計算ノートブックはセッション全体にわたってGPUを占有しますが、GPUが計算を行うのはセルが実行中であるときだけで、それ以外の時間はアイドル状態となります。サーバーレス実行であれば、セル間でGPUを解放できますが、新しいワーカー上で蓄積されたノートブックの状態を再構築するには、各GPUセルごとに大きなコストが伴います。本論文では、対話型ノートブック向けのサーバーレスGPUプラットフォームであるLooseLeafを提案します。LooseLeafは、各セルの状態とインポートクロージャー、すなわちそのセルが必要とする最小限の変数やパッケージを導出します。実世界のノートブック5,000件に対する分析から、これらのクロージャーは非常に小さく、ユーザーによるセルの編集によっても、準備に要する時間は数秒程度であることが示されました。LooseLeafは、ユーザーがセルを編集している間に、これらのクロージャーを用いてGPUワーカーを準備します。実行後、ワーカーは…
arXiv:2610.32322v1 発表タイプ：新規 要旨：LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルが既に内包しているスキルを見出し、そのモデルにとってそれらのスキルが不要であることを確認した上で、当該モデル向けにそれらのスキルを廃止しなければなりません。しかし、これまでのところ、内包の程度は既知の信頼性で測定されていません。従来の手法では、スキルを廃止するかどうかを判断する際、そのスキルを使用した場合と使用しない場合の実行結果を比較し、得られた効果のみに基づいて判定を行ってきました。ところが、内包されたスキルの場合も、モデルもスキルもその能力を発揮しない状況（我々はこれを「未解明」と呼んでいます）においても、得られる効果はほぼゼロです。そこで、私たちは代わりにそのスキルを保留し、当該スキルを基に合成したタスクでモデルを評価します。そして、高い無補助スコアが得られるのは、別のモデルがそのスキルによって利益を得る場合に限ると信じています。なぜなら、高いスコアのほぼ半数は、そのスキルが関与しないタスクで得られているからです。
arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコード処理との間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレータ仮想化とクラスター間の統合が切り離されたままです。
