要旨：LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルがそのスキルを内部化し、もはや必要としなくなったことを確認し、当該モデル向けにそのスキルを廃止する必要があります。しかし、内部化の程度はこれまで知られている手法では信頼性高く測定されていません。既存のルールでは、スキルありとスキルなしの実行結果を比較し、得点の向上のみを基準にスキルの廃止を判断していますが、内部化されたスキルの場合でも、またモデルもスキルもその能力を発揮しない場合（いわゆる「未解明」状態）でも、得点の向上はほぼゼロです。そこで我々は、スキルを保留した上で、そのスキルに基づいて合成されたタスクにおいてモデルを評価し、別のモデルがそのスキルによって得点を上げる場合にのみ、高い無補助スコアを信頼することにしました。というのも、高得点のほぼ半数は、どのモデルも恩恵を受けないタスクで得られたものだからです。4つのモデルを対象とした実験では、各スキルごとに1つのタスクを用いて適用した既存の得点向上ルールにより、未解明のスキルの半数以上が廃止されました。SkillsBenchにおいては、31件の廃止のうち28件が、いずれの実行も完全に通過しなかったプローブに基づいており、一方で無補助スコアによる廃止では、検出可能な報酬の低下は見られませんでした。無補助スコアによる判定は、得点向上ルールに比べてタスク間での再現性が高い（Cohen’s kappa 0.42 対 0.23）ものの、モデル間でばらつきがあるため、ハブはモデルごとに個別に読み取る必要があります。我々は、4つのモデル下で、タスクと項目スコアを付与した1,251件のスキルを公開します。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。