SIM-UT:医療トリアージチャットボット向けのユーザー行動シミュレーション評価フレームワーク
研究者は、トリアージにおけるユーザー行動のシミュレーション(SIM-UT)という、複数ラウンドにわたる実際のユーザー行動に基づく評価手法を提案し、大規模言語モデル(LLM)を搭載した医療トリアージチャットボットが低所得国および中所得国(LMICs)の実際の運用環境において、生態学的に有効な失敗パターンを特定することを目的としています。
注目する理由:このフレームワークは、従来の単一ラウンドかつ英語中心の評価という制約を打ち破り、5,000回を超える多言語によるシミュレーション対話を用いて、インド、南アフリカ、ケニアの3地域における実際のWhatsAppヘルスプロジェクトを網羅することで、『臨床的危険性の低減』(de-escalation risk)という重要な失敗行動を初めて体系的に明らかにしました。これには方法論上の革新性と、臨床における安全警告としての価値が備わっています。
