
2026年10月26日、arXivプラットフォームにおいて「An Agentic Approach with Evidence-Grounded Verification for Multimodal Emotion Reasoning in Conversation」と題するプレプリント論文(ID 2610.31685v1)が公開され、追跡可能で検証可能な新型のマルチモーダル感情推論エージェントフレームワークが提案された。
このフレームワークは、視覚・音響・テキストの各モダリティ専用の認知エージェントで構成されており、各エージェントは共有ボード上に証拠を引用した観測結果を公開します。統合エージェントは、これらの観測結果と検索された多モダリティの例を組み合わせて、感情の記述、タグセット、および裏付けとなる引用文を生成し、MLLMの批評者によって最大1回の修正が行われます。最終的な出力に先立ち、独立した証拠検証段階において確定性チェックと含意判断が実施され、すべての主張が有効な証拠によって裏付けられていることを確保します。
検証に失敗した事例については、システムが責任コンポーネントとエラーの種類に基づいてグループ化し、ターゲットを絞ったプロンプトパッチを生成します。これらのパッチは、予備の検証セット上で有効性が確認された場合にのみ採用され、その過程でモデルの重みは一切更新されません。MER2025データセットでの評価において、本手法はVideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct、InternVL2.5-38Bの4つのオープンソース多モーダル大規模モデルにおいて、静的フリーズ型パイプラインを上回り、Fスコアの向上幅は0.6~2.2ポイントに達しました。なかでもQwen2.5-VL-7Bでは、52.3から54.5へと改善されました。
論文は、自らの手法が指令微調整に伴う高い計算コストを回避するとともに、エージェントシステムにおけるエラーの原因追跡の難しさという課題も解決すると強調しているが、実際の導入環境やリアルタイム性能指標、人間による評価結果については報告されていない。なお、すべての実験は事前に公開されたMER2025データセットおよび公開モデルに基づいて行われており、商用システムやプライベートデータには一切触れていない。