2026년 10월 26일, ‘LAMB: 라틴어를 위한 현대적 문맥 기반 언어 모델’이라는 제목의 연구 논문이 arXiv 플랫폼에 게재되었으며(논문 ID: arXiv:2610.31723v1), 라틴어 전용 문맥 기반 언어 모델인 Latin Modern BERT(LAMB)가 공식적으로 출시되었다. 이 모델은 ModernBERT 아키텍처를 기반으로 설계되었으며, 두 단계로 구성된 사전훈련 프로세스를 채택해 총 740억 개(74B)가 넘는 라틴어 텍스트 토큰을 처리하고, 라틴어의 고도로 굴절되고 어형이 풍부한 언어적 특성에 보다 잘 맞도록 하는 새로운 ‘형태론적 인지 마스킹 방식’(morphologically informed masking regimen)을 도입하였다.
논문과 함께 두 개의 새로운 라틴어 말뭉치 자원인 Acervus와 Corpus Trinum이 동시에 공개되었습니다. Acervus는 240억(24B) 개의 BERT WordPiece 토큰을 포함하며, 그 중 76만 개가 넘는 샘플은 심각하게 손상된 OCR 라틴어 전사 결과에서 유래하여 라틴어 전용으로 학습된 ByT5 모델을 통해 텍스트 복구를 거쳤습니다. Corpus Trinum은 최초의 라틴어 의미 트리플 데이터셋으로, 1억(100M) 개가 넘는 강약 혼합형 라틴어 문장 쌍의 트리플을 포괄하며, 문장 수준의 의미 유사도와 같은 하위 작업을 지원하도록 설계되었습니다.
연구에서는 5가지 유형의 과제와 17개의 하위 과제를 포괄하는 평가 벤치마크를 구축하고, 15종의 사전훈련된 코더, 6개의 LAMB 훈련 체크포인트 및 1개의 아브레이션 모델을 비교·평가하였다. 그 결과, LAMB는 17개의 하위 과제 중 16개에서 최우수 성능을 달성했으며, 나머지 1개에서도 현재 최고 수준보다 불과 0.8%포인트 뒤처지는 것으로 나타났다. 또한 본 논문은 분석기의 동작, 문법 구조, 미세조정 구성 등 다양한 요인이 라틴어 모델의 성능에 미치는 영향을 심층적으로 분석하였으며, 라틴어의 개방류 품사가 사전훈련 마지막 단계인 ‘종단 감쇠 단계’에서 독특한 습득 패턴을 보이는 것을 처음으로 규명하였다.