2026年10月24日、arXivのプレプリント・プラットフォームは、「IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval」と題する研究を公開し、IFCファイルから複数選択式のベンチマークを自動的に構築する自動化技術であるIFC-MCQ手法を提案しました。この手法は、建築情報モデリング（BIM）データの検索タスクにおける大規模言語モデル（LLM）エージェントの性能評価に用いられます。
IFCは建築・エンジニアリング・建設（AEC）分野で広く用いられる建築情報交換の標準であり、現在では自然言語を介してLLMによる照会がますます増加しています。しかし、従来の評価手法は自由記述形式の回答に依存しており、大量の人手や追加のLLMによる判定が必要となり、スケールアップが困難です。IFC-MCQは、明確な正解選択肢を備えた多肢選択問題を構築することで、正確かつ自動的な採点を実現します。その分類体系は、4つの大グループ下に15のカテゴリと36のサブタイプを網羅しており、正解はIFCファイル自体から直接抽出され、誤答候補はファイル内の派生値や事前設定されたルールに基づいて生成されます。
研究チームは、異なる規模とモデリング特性を有するIFCモデルにIFC-MCQを適用し、その生成カバレッジを検証するとともに、選定したモデル上で2種類のLLMエージェント構成（ツールベースおよびコードベースの検索方式）を試験しました。その結果、特定のカテゴリにおける失敗パターンが明らかになり、性能は元となるIFCモデルや検索インターフェースの違いによって変動することが示されました。論文では、IFC-MCQがAECワークフローにおけるLLM駆動型IFC検索に対して、拡張性のあるベンチマーク評価能力を提供することを指摘しています。