
2026年10月24日,arXiv预印本平台发布题为《IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval》的研究,提出IFC-MCQ方法——一种从IFC文件自动构建多选题基准的自动化技术,用于评估大语言模型(LLM)代理在建筑信息模型(BIM)数据检索任务中的表现。
IFC是建筑、工程与施工(AEC)领域通用的建筑信息交换标准,当前正越来越多地通过自然语言被LLM查询。但现有评估依赖自由文本回答,需耗费大量人力或额外LLM进行评判,难以规模化。IFC-MCQ通过构建含明确答案选项的多项选择题实现精确、自动评分:其分类体系涵盖四大组别下的15个类别与36个子类型;正确答案直接源自IFC文件本身,干扰项则由文件内衍生值或预设规则生成。
研究团队将IFC-MCQ应用于不同规模与建模特征的IFC模型,验证其生成覆盖度,并在选定模型上测试两种LLM代理配置(基于工具与基于代码的检索方式)。结果揭示了特定类别下的失败模式,且性能表现随源IFC模型及检索接口差异而变化。论文指出,IFC-MCQ为AEC工作流中LLM驱动的IFC检索提供了可扩展的基准评测能力。