새로 발표된 arXiv 연구(2610.30997v1, 2026년 10월 24일 게재)에 따르면, 언어 모델에게 지정된 스키마에 따라 JSON을 출력하도록 요구하는 추출 작업에서, 스키마의 minItems가 3과 같이 최소 항목 수를 명시하고 있는데도 입력 문서에 해당하는 엔터티가 실제로 그 수보다 적은 경우, 대부분의 오픈소스 대형 모델은 실제보다 짧은 리스트를 그대로 반환하지 않고 오히려 최소값을 충족하도록 의도적으로 ‘채워 넣는’ 방식으로 동작하며, 이로 인해 중복되지만 겉보기에는 합리적인 항목들이 생성된다.
연구팀은 아홉 개의 주석 데이터셋에서 수집한 558개의 실제 문서를 대상으로 여덟 가지 오픈소스 가중치 모델을 테스트하고, 여섯 가지 클라우드 호스팅 서비스 모델을 대조군으로 활용했다. 그 결과, ‘최소 항 수’는 스키마에서 단순히 안내 역할만 할 뿐 강제로 적용되지는 않지만, 출력 목록의 길이가 실제 개수를 초과하는 비율을 34.5%에서 55.4%로 끌어올렸다. 또한, 채워진 내용은 대부분 문서에 실제로 존재하는 텍스트 조각으로 구성되어 있으며, 약 50%가 ‘각 항목이 원문에 모두 포함됨’이라는 검증 기준을 통과해 은밀성이 매우 높았다. 더불어, ‘최대 k개 항목’과 같은 자연어 설명을 추가하거나 ‘N/A’ 옵션을 제공하는 방식, 또는 검증 오류를 기반으로 재질문을 하는 등 일반적인 수정 방법들을 시도했으나, 이들 모두 채워넣기 현상을 효과적으로 억제하지 못했고, 일부는 오히려 누락 검출을 심화시키거나 과잉 생성을 유발했다.
이 연구는 이러한 패딩 행위가 무작위적 환각이 아니라 스키마 설계와 모델의 응답 메커니즘 양자가 함께 유발하는 체계적 편향임을 강조하며, 지식 그래프 구축이나 규정 준수 보고서 생성과 같이 정밀한 구조화된 출력에 의존하는 하위 애플리케이션들에 잠재적 위험을 초래한다고 지적합니다. 저자들은 모든 실험 코드, 답변 목록 및 실행 기록을 오픈소스로 공개했습니다(https://github.com/AbhishekBarali/padding-to-k），供社区复现与改进。).