跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

IFC-MCQ:面向建筑信息模型的LLM代理自动多选题基准生成方法

研究者于2026年10月24日在arXiv发布IFC-MCQ方法,旨在为建筑、工程与施工(AEC)领域中基于大语言模型(LLM)的Industry Foundation Classes(IFC)数据检索系统,自动生成可精确评分的多选题基准。

2026年10月24日,arXiv预印本平台发布题为《IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval》的研究,提出IFC-MCQ方法——一种从IFC文件自动构建多选题基准的自动化技术,用于评估大语言模型(LLM)代理在建筑信息模型(BIM)数据检索任务中的表现。

IFC是建筑、工程与施工(AEC)领域通用的建筑信息交换标准,当前正越来越多地通过自然语言被LLM查询。但现有评估依赖自由文本回答,需耗费大量人力或额外LLM进行评判,难以规模化。IFC-MCQ通过构建含明确答案选项的多项选择题实现精确、自动评分:其分类体系涵盖四大组别下的15个类别与36个子类型;正确答案直接源自IFC文件本身,干扰项则由文件内衍生值或预设规则生成。

研究团队将IFC-MCQ应用于不同规模与建模特征的IFC模型,验证其生成覆盖度,并在选定模型上测试两种LLM代理配置(基于工具与基于代码的检索方式)。结果揭示了特定类别下的失败模式,且性能表现随源IFC模型及检索接口差异而变化。论文指出,IFC-MCQ为AEC工作流中LLM驱动的IFC检索提供了可扩展的基准评测能力。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态