2026년 10월 24일, ‘IndoNutriQA: 인도네시아 임상 영양 질의응답 벤치마크’라는 제목의 연구가 arXiv 플랫폼에 정식으로 발표되었으며(번호 2610.31256v1), 인도네시아어로 설계된 임상 영양 분야의 질문·답변 평가 벤치마크인 IndoNutriQA가 처음으로 공개되었다.
이 벤치마크는 911명의 전문가들이 수작업으로 구성한 질문-답변 쌍으로 이루어져 있으며, 모두 실제 임상 영양 보고서에서 발췌되었습니다. 각 쌍은 임상 관련 맥락에 맞춰 설계되었고, 신체 계측 평가, 의학적 진단, 문서 출처 및 텍스트 분할 정보를 포함한 구조화된 메타데이터도 함께 제공됩니다. 질문 유형은 영양 간호 프로세스(NCP)에 엄격히 부합하며, 문제(Problem), 원인(Etiology), 증상 및 징후(Sign and Symptom) 등 총 여덟 가지 PES 진단 진술 범주를 포괄합니다.
모든 질문은 등록 영양사 세 명 중 한 명이 답변했으며, 원본 보고서는 영양학 대학원생 인턴이 작성했습니다. 답변은 단순한 조각 추출이 아닌 자유 형식의 임상 서술형 텍스트로 제공되었습니다. 전문가 검증 연구에 따르면, 참고 답변의 6%~10%는 논란의 여지가 있었습니다. 이 데이터셋은 생성형, 추출형 및 검색 강화형 질의응답 과제를 지원하며, 대규모 언어 모델의 제로샷 및 소량 샘플 평가에도 적합합니다.
논문은 IndoBERT 변형, mT5 및 RAG 등 모델을 기반으로 한 미세조정 기반선 결과를 보고하며, 5-폴드 교차 검증, 학습 곡선 분석 및 부트스트랩 95% 신뢰구간을 활용했다. 또한 8종의 최신 대규모 언어 모델에 대해 제로샷 및 5샷 평가를 수행하였다. 연구는 LLM-as-judge 평가 프레임워크를 보정한 결과, 이 프레임워크가 사실성과 완전성 측면에서는 인간 전문가 수준에 근접하지만 임상 안전성 판단에서는 신뢰할 수 없음을 확인했다. 추가적인 인적 오류 분석을 통해, 해당 프레임워크가 전문가가 식별할 수 있는 근거 미비 내용을 놓칠 수 있음이 밝혀졌다.
IndoNutriQA는 대규모 학습용 데이터가 아닌 순수 평가 자료로 공개되어, 인도네시아어 임상 자연어 처리 및 영양 의사결정 지원 시스템 분야의 연구 발전을 촉진하는 것을 목표로 합니다. 데이터셋의 출처와 방법론에 관한 세부 사항은 모두 arXiv 논문 원문에 기반하며, 외부에서 추가된 정보는 포함되지 않습니다.