arXiv:2610.33004v1 발표 유형: 신규
요약: 광학 문자 인식(OCR)은 역사 기록물의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 유의미한 정보가 제대로 보존되는지를 반드시 반영하지 못한다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 개체 수준에서 분석하는 방법을 탐구한다. Berrutti 아카이브의 175개 문서로 구성된 공개 벤치마크를 활용하고, 게재 승인 시 공개될 5,209개의 수동 주석 처리된 개체 언급 데이터를 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교하였다. 전체적인 전사 정확도 외에도, 다양한 문자 수준 편집 허용 범위 하에서 개체의 보존 및 복구 가능성을 분석하였다. 실험 결과, OCR 순위는 평가 기준에 따라 달라짐을 확인했다. 모든 테스트된 허용 범위에서 Qwen 3.6이 가장 높은 개체 커버리지를 달성했으나, 정확 일치 커버리지가 낮은 일부 시스템은 작은 오류를 허용할 경우 상당히 많은 개체를 복구하는 것으로 나타났다. 이는 이들 시스템의 많은 오류가 근본적으로 잘못된 개체 전사보다는 국지적인 문자 수준의 편차에 기인함을 시사한다. 반면, 일부 시스템은 매칭 조건을 완화해도 여전히 다수의 개체를 복구하지 못하는 것으로 드러났다. 이러한 결과는 OCR 품질을 단순히 집합적 전사 지표만으로는 완전히 파악할 수 없으며, OCR 오류가 유의미한 정보의 보존과 복구 가능성에 미치는 영향을 평가하는 것이 중요함을 보여준다.