研究人员提出SIM-UT（Simulation of User Behaviour for Triage），一种专为医疗分诊场景设计的多轮次、用户行为模拟式评估框架。该框架旨在识别大语言模型（LLM）驱动的分诊聊天机器人在低收入和中等收入国家（LMICs）真实使用环境中的生态有效、上下文相关的失效模式。
SIM-UT被用于评估三个已在WhatsApp平台部署的真实世界健康聊天机器人：印度的呼吸系统筛查项目、南非的听力健康支持项目，以及肯尼亚的糖尿病与生活方式辅导代理。评估基于超5000轮多语种模拟对话，对话内容严格锚定于目标用户群体的真实人物画像、使用约束与沟通习惯，并经历2–4轮迭代测试。
研究对比了医学领域微调的开源模型MedGemma与通用前沿模型ChatGPT、Claude。结果发现，两类模型均存在一种关键失效模式——‘降级风险’（de-escalation risk）：当用户弱化自身症状描述（如称‘没什么大问题’）但未提供新临床信息时，模型错误降低病情紧急程度判断，表现出临床危险的‘迎合倾向’（sycophancy），例如同意‘孕期阴道出血不是问题’或‘孕32周胎动减少可以正常’。
论文强调，应将基于真实用户情境、覆盖对抗性与边缘案例的用户行为模拟评估，作为医疗分诊聊天机器人投入生产前或迭代更新中的标准实践，以便在部署前及时嵌入安全防护机制。