出典・テーマ・日時から、気になるニュースを見つけられます。
arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。
arXiv:2610.33275v1 発表タイプ：新規 要旨：計算ノートブックはセッション全体にわたってGPUを占有しますが、GPUが計算を行うのはセルが実行中であるときだけで、それ以外の時間はアイドル状態となります。サーバーレス実行であれば、セル間でGPUを解放できますが、新しいワーカー上で蓄積されたノートブックの状態を再構築するには、各GPUセルごとに大きなコストが伴います。本論文では、対話型ノートブック向けのサーバーレスGPUプラットフォームであるLooseLeafを提案します。LooseLeafは、各セルの状態とインポートクロージャー、すなわちそのセルが必要とする最小限の変数やパッケージを導出します。実世界のノートブック5,000件に対する分析から、これらのクロージャーは非常に小さく、ユーザーによるセルの編集によっても、準備に要する時間は数秒程度であることが示されました。LooseLeafは、ユーザーがセルを編集している間に、これらのクロージャーを用いてGPUワーカーを準備します。実行後、ワーカーは…
arXiv:2610.33027v1 発表タイプ：新規 要旨：次トークン予測（NTP）は、次の出現するトークンのみに報酬を与え、他のすべての代替案にはペナルティを課す。しかし、自然言語ではしばしば同じ意味を表現する多様な方法が存在する。そこで我々は、意味に対する報酬を追加することで次トークン予測を拡張する学習フレームワークであるConceptizerを提案する。Conceptizerは、文脈に基づく同義語から構築された約9,000語の概念というモデル非依存の固定語彙を、テキストの単位であるトークンと並行して意味の単位として用いる。各次トークン分布を概念分布へと対応付け、目的とする意味に対する報酬をその可能な表現形式全体に分配する。これにより、モデルのパラメータを増やさずに概念レベルの学習信号を提供できる。10億～80億パラメータ規模の3つのモデルファミリーに対して適用した結果、ConceptizerはホールドアウトNTPのperplexityにおいて最も低い値を達成した。
arXiv:2610.32322v1 発表タイプ：新規 要旨：LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルが既に内包しているスキルを見出し、そのモデルにとってそれらのスキルが不要であることを確認した上で、当該モデル向けにそれらのスキルを廃止しなければなりません。しかし、これまでのところ、内包の程度は既知の信頼性で測定されていません。従来の手法では、スキルを廃止するかどうかを判断する際、そのスキルを使用した場合と使用しない場合の実行結果を比較し、得られた効果のみに基づいて判定を行ってきました。ところが、内包されたスキルの場合も、モデルもスキルもその能力を発揮しない状況（我々はこれを「未解明」と呼んでいます）においても、得られる効果はほぼゼロです。そこで、私たちは代わりにそのスキルを保留し、当該スキルを基に合成したタスクでモデルを評価します。そして、高い無補助スコアが得られるのは、別のモデルがそのスキルによって利益を得る場合に限ると信じています。なぜなら、高いスコアのほぼ半数は、そのスキルが関与しないタスクで得られているからです。
arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコード処理との間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレータ仮想化とクラスター間の統合が切り離されたままです。
arXiv:2610.33001v1 発表タイプ：新規 要旨：学術的な改稿は、正当な執筆上の目的が衝突する場合、ガバナンス上の問題を生じさせる。執筆プロセスおよび社会科学の研究は、改稿が再帰的であり、文言には認識論的・学問分野固有の約束が伴うことを示している。これらの文献は重要な制約を特定しているものの、簡潔さや掲載媒体の形式、文体の多様性が証拠や主張の境界と対立する際に、どの目的を優先すべきかについては明確にしていない。本論文では、改稿を順序付けられた制約下での許容可能性の問題としてモデル化する。タスクに依存する不変量、文脈上の制約、そして変更可能な表現選択が許容可能な領域を定義し、証拠と判断を認可された主張の境界に結び付ける主張保持契約が設定される。さらに、四つのガバナンスに関する命題が具体化される。
arXiv:2610.32308v1 発表タイプ：新規 要旨：多段階の逆合成反応では、目的とする分子を連続する反応ステップを通じて購入可能な構成要素へと再帰的に変換する必要があり、近年の研究ではこの課題に取り組むために大規模言語モデル（LLM）による推論が活用され始めています。その最新の進化において、LLMによる推論は長期的な視野の領域へと拡張されており、モデルは相互依存的な各ステップにわたって目標を追求し、環境と相互作用しながらフィードバックに適応します。このような転換により、AI主導の数学研究における画期的な成果が示されるなど、LLMの能力は著しく向上しています。この最先端の領域において、私たちはSolventという8B規模のLLMを提案します。Solventは、長期的な視野での推論を多段階の逆合成反応へと効果的に拡張することに成功しました。二段階の事後訓練カリキュラムを通じて、Solventは反復的な…
arXiv:2610.33036v1 発表タイプ：新規 要旨：スピーキングスタイルキャプション（SSC）は、声の音色、プロソディー、表現力といったパラリンギスティックな属性を捉えながら、話し方そのものを自然言語で記述することを目的としています。会話型AIエージェント、制御可能な音声生成、大規模な音声アノテーションなど、多くの下流アプリケーションでは、単一で区別されない記述ではなく、話し手の特性や感情、発話スタイルなど、特定の側面を対象とした次元別のスタイルキャプションが必要とされています。しかし、既存の研究には、制御可能なスピーキングスタイルキャプションに関する統一的な定式化が欠けています。本研究では、このギャップを解消するため、SSCを指示に従う音声・言語タスクとして定式化し、明示的な指示によってスピーキングスタイルの次元を指定する手法を提案します。
arXiv:2610.32305v1 発表タイプ：新規 要旨：多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判する自己反省は広く研究されていますが、その批判だけでは、証拠が次の行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質を測定するだけで、この点については未検証です。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的要件に基づいて構築された、4つの産業分野における15の産業事例にわたる97の種付け済みタスクを用いて、この能力を評価します。対になる反実仮想バリアントは、同じワークフロー上の同一位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。私たちは実行トレースを用いて
arXiv:2610.33018v1 発表タイプ：新規 要旨：学術知識グラフ（SKG）は、文献検索、科学的発見、およびエージェント支援型研究を支援する。しかし、SKG構築のほとんどの手法では、表現対象となる知識単位を事前に指定し、通常は学術的エンティティや貢献レベルの記述として定義したうえで、その単位を通じて表現可能な出版物の内容のみを保持する。この選択により、エンティティと局所的な関係を重視する概念中心型SKGと、文による高水準な議論を捉える記述中心型SKGという、二つの支配的でありながら異なるパラダイムが生じる。いずれの場合も、グラフは論文が知識をどのように構築し伝達しているかを反映するのではなく、あくまで選ばれた抽出対象を反映しているにすぎない。そこで私たちは、知識の…を定義する学術上位ディスコースオントロジーであるSUDOを提案する。
arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映できない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用の視覚言語モデル、および汎用の視覚言語モデルを比較する。全体的な転写精度にとどまらず
arXiv:2610.33016v1 発表タイプ：新規 要旨：Llama-3、Qwen3 および多くの他のオープンな大規模言語モデルは、単語の種類が Unicode の文字のみを許容する正規表現を用いてテキストを事前トークン化している。デーヴァナーガリー文字の母音記号は結合記号であるため、この正規表現ではネパール語の単語が各母音記号ごとに分割され、これを採用するモデルは、同じ英語テキストに比べてネパール語に対して 2.6〜5.8 倍ものトークン数を消費する。マージベースの語彙拡張手法では、分割された部分を再結合することはできない。Llama-3 および Qwen3 においては、新たなマージ回数をいくら増やしても、このペナルティは約 2.2 を下回ることはなく、すでに公開されている 10 種類の拡張でも、この事前トークン化による下限値から 4% 以内に収まらない。そこで、我々は配備済みの正規表現に小さな修正を加え、結合記号やデーヴァナーガリー文字を含まないテキストのすべてのトークン ID を保証できるようにした。さらに 32,000 回の新たなマージを施すことで、ネパール語は英語の 1.01 倍にまで引き上げられる。
arXiv:2610.32412v1 発表タイプ：新規 要旨：再帰型の大規模言語モデル（LLM）エージェントは、分解・実行・環境からのフィードバックを通じて長期的なタスクを解決する。しかし、原子的なサブタスクを生成した後、しばしば同じ大規模モデルを再度呼び出して、馴染みのある指示を実行可能なアクションに変換している。我々は、高レベルの計画はタスク固有である一方で、葉レベルのアクションの具現化はタスク間で繰り返され、環境が許容するアクションと照合可能であることを観察した。そこで、セマンティックに関連する具現化の経験を取得し、アクションテンプレートを現在のオブジェクトおよび許容されるアクションに結びつけ、軽量な17億パラメータの選択器によって結び付けられたアクションを選択するか、あるいは変更のないサブタスクを元のエージェントに委ねる外部再利用層であるLeafSkillを提案する。スキルは外部に留まり…
arXiv:2610.31968v1 発表タイプ：新規 要旨：救急車の移動時間の正確な推定は、緊急医療の dispatch において極めて重要である。しかし、既存の意思決定支援手法は、多くの場合、静的な照会テーブルや、救急車の移動時間が一般の乗用車とどのように異なるかに関する単純化された仮定に依存している。例えば、救急車は一般の乗用車よりも一定の割合（例：5％）だけ速く走ると想定されることが多い。しかし、こうした仮定は実際の救急車の運用データによって検証されることがほとんどなく、走行中の優先度や時間的背景、出発地・目的地の影響を捉えきれていない可能性がある。本研究では、スウェーデンのスコーネ地域における過去の救急車の運行データを用いて、これらの限界に対処する。分析の結果、救急車の移動時間は時間帯や曜日、さらには…によって大きく変動することが明らかになった。
arXiv:2610.33020v1 発表タイプ：新規 要旨：もし自分の脳が他者の脳と直接接続されていたとしたら、その思考が自分自身のものであるかどうかは依然として分かるだろうか。私たちは、一つの言語モデルを二つ用意し、機能的な実装を構築した。それぞれのモデルは独自のルールとコードワードを保持しており、一方のコピー（受信者）は、もう一方の内部メモリにも注意を向ける。受信者は、パートナーに割り当てられたタスクを自らのものとして受け取った。パートナーのメモリに重みを倍にして与えた場合（リンクなしではゼロ）、どのルールが割り当てられたのかを問うと、回答の97％でパートナーのものを挙げた。また、オープンな報告においても、受信者はパートナーのコードワードを自らのものと称し、決してパートナーのものとはしなかった。所有権は、受信者がパートナーに何が割り当てられたかをどれほど正確に識別できるかには依存しなかった。重みが等しい場合、リンクによって受信者はパートナーのルールを約半分の確率で受け入れるようになった。
arXiv:2610.33062v1 発表タイプ：新規 要旨：統合型大規模マルチモーダルモデル（ULMM）は、テキストと画像の交互生成を通じて視覚推論を実行できるが、明示的な中間画像を生成するには多大な計算負荷が伴う。視覚ラテンシー推論はこの問題を解決するものの、既存の手法の多くは、視覚生成が不可能な視覚言語モデル（VLM）に依存している。そこで私たちは、ULMMにおけるラテンス視覚推論を可能にする新しいフレームワークであるOddinを提案する。Oddinでは、中間画像をコンパクトなラテントークンに置き換え、これらは理解ブランチのみで処理し、生成ブランチは最終的な出力画像の生成に専念させる。我々は、オフラインの自己蒸留手法を用いて、3つの目的——最終画像生成損失、テキスト蒸留損失、およびクロスエントロピー損失——に基づいてモデルを学習する。
arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍（Huginn-0125）および$e^{12.8}$倍（Raven-Llama）も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…
arXiv:2610.32431v1 発表タイプ：新規 要旨：視覚・言語・行動（VLA）のロールアウトが失敗したとしても、すべての行動が失敗に寄与したわけではない。しかし、グループ相対方策最適化（GRPO）では、ロールアウト中の全行動に対して単一の軌道レベルの優位性が割り当てられるため、本来有用な復旧試行すら、それらが修正しようとする誤りとともにペナルティを受ける可能性がある。失敗フィードバックにおける理想的な停止条件は、成功確率および方策スコアのマルチンゲールを用いて特徴付けられる。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、切り捨てによって参照となるGRPOのグループ勾配推定器の期待値は維持され、その共分散を低減できる。このような停止の一つは、成功の条件付き確率が
arXiv:2610.32104v1 発表タイプ：新規 要旨：トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity）を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った
arXiv:2610.33501v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値（KV）キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延（ITL）が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン
