2026년 10월 24일, arXiv 사전인쇄본 플랫폼은 “IFC-MCQ: IFC 데이터 검색에서 LLM 에이전트 평가를 위한 다지선다형 벤치마크 자동 생성”이라는 제목의 연구를 발표했으며, IFC 파일로부터 다지선다형 문제 벤치마크를 자동으로 구축하는 IFC-MCQ 방법을 제안했다. 이는 건축 정보 모델(BIM) 데이터 검색 과제에서 대규모 언어 모델(LLM) 에이전트의 성능을 평가하기 위해 개발된 자동화 기술이다.
IFC는 건축·엔지니어링·건설(AEC) 분야에서 널리 사용되는 건축 정보 교환 표준으로, 최근에는 자연어를 통해 LLM이 이를 조회하는 사례가 점점 늘어나고 있습니다. 그러나 기존 평가는 자유형 텍스트 답변에 의존하기 때문에 많은 인력이 소요되거나 별도의 LLM을 활용해 평가해야 하므로 대규모화가 어렵습니다. IFC-MCQ는 명확한 정답 옵션을 포함한 객관식 문제를 설계함으로써 정밀하고 자동적인 채점이 가능합니다. 이 시스템의 분류 체계는 4개 주요 그룹 아래 15개 범주와 36개 하위 유형으로 구성되며, 정답은 IFC 파일 자체에서 직접 추출되고, 오답 선택지는 파일 내 파생 값이나 사전 설정된 규칙을 통해 생성됩니다.
연구팀은 IFC-MCQ를 다양한 규모와 모델링 특성을 가진 IFC 모델에 적용하여 생성된 커버리지를 검증하고, 선정된 모델에서 두 가지 LLM 에이전트 구성(도구 기반 및 코드 기반 검색 방식)을 테스트하였다. 그 결과, 특정 범주 내에서의 실패 패턴이 드러났으며, 성능은 원본 IFC 모델과 검색 인터페이스의 차이에 따라 달라지는 것으로 나타났다. 논문은 IFC-MCQ가 AEC 워크플로우에서 LLM 기반 IFC 검색을 위한 확장 가능한 벤치마킹 능력을 제공한다고 지적한다.