IFC-MCQ:面向建筑信息模型的LLM代理自动多选题基准生成方法
研究者于2026年10月24日在arXiv发布IFC-MCQ方法,旨在为建筑、工程与施工(AEC)领域中基于大语言模型(LLM)的Industry Foundation Classes(IFC)数据检索系统,自动生成可精确评分的多选题基准。
推荐理由:该工作直面LLM在专业结构化数据(如IFC)上评估难、成本高的痛点,提出首个面向IFC文件的自动化多选题生成框架,覆盖15类36子类,支持可复现、可扩展的代理能力评测。
检索标题、摘要与正文,把分散的信息连起来。
研究者于2026年10月24日在arXiv发布IFC-MCQ方法,旨在为建筑、工程与施工(AEC)领域中基于大语言模型(LLM)的Industry Foundation Classes(IFC)数据检索系统,自动生成可精确评分的多选题基准。
推荐理由:该工作直面LLM在专业结构化数据(如IFC)上评估难、成本高的痛点,提出首个面向IFC文件的自动化多选题生成框架,覆盖15类36子类,支持可复现、可扩展的代理能力评测。
2026年10月24日发布的arXiv论文(编号2610.31047v1)指出,当前自动化安全系统依赖词汇表层特征判断危害性,导致系统性偏见:非裔美国人英语(AAE)被标记为“冒犯性”的频率最高达其他英语变体的两倍;知名变装皇后账号被评毒性强于白人至上主义者账号;英语中有效的安全行为在低资源语言中完全失效。
推荐理由:该研究基于实证评估协议,覆盖5个开源系统、11种语言共55个系统-语言组合,发现93%的组合未能达到母语者水平的危害功能识别能力;且模型能力提升反而扩大语言间保护差距,凸显算法公平性危机。来源为arXiv预印本平台,发布日期明确(2026-10-24),内容聚焦可验证的技术缺陷与跨语言实测结果。