arXiv:2610.36524v1 公告タイプ：新規
要旨：制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を及ぼすアテンションヘッドを明らかにできるのか。我々は、制御された証拠集約（CEA）を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたTransformerが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって評価され、プロンプトには正解が明示されていない。バランスド・ユーティリティ・カウザル・セレクション（BUC）は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向にその効果をどれほど再現できるかを同時に評価することにより、コンパクトなヘッド集合を同定する。さらに、ヘッドの帰属と介入効果を結びつけ、有限サンプルから帰属のショートリストを復元可能な条件を明示する条件付き上限を導出する。Pythia-410Mにおいて、四つの順序設定ごとに個別に選択された1〜12個のヘッド集合を除去すると、カウント効果の65.5〜91.6％が消失する。なお、これらの集合は、選択に用いられなかったカウント比較に対しても依然として影響を保持している。記号入力にとどまらない実用性を検証するため、より自然な文脈で、どの州がより多くの報道に支持されているかを問うタスクを評価した。記号的な「はい／いいえ」形式のプロンプトのみに基づいて選ばれた8個のヘッドを除去すると、平均正答率は8.2ポイント低下する一方、サイズと層数を一致させたランダムな集合では0.8ポイントの低下にとどまった。本研究の結果は、制御された記号プローブが、自然言語による意思決定にも及ぶ因果的影響を持つコンパクトなアテンションヘッド集合を特定しうることを示している。