2026年10月26日,一篇题为《LAMB: A Modern Contextual Language Model for Latin》的研究论文在arXiv平台发布(编号arXiv:2610.31723v1),正式推出拉丁语专用上下文语言模型Latin Modern BERT(LAMB)。该模型基于ModernBERT架构设计,采用两阶段预训练流程,总计处理超过740亿(74B)拉丁语文本词元,并引入一种新型‘形态学感知掩码策略’(morphologically informed masking regimen),以更好适配拉丁语高度屈折、词形丰富的语言特性。
论文同步发布两个全新拉丁语语料资源:Acervus与Corpus Trinum。Acervus包含240亿(24B)BERT WordPiece词元,其中逾76万样本源自严重损坏的OCR拉丁文转录结果,经专为拉丁语训练的ByT5模型完成文本修复;Corpus Trinum则是首个拉丁语语义三元组数据集,涵盖超1亿(100M)强弱混合的拉丁语句对三元组,旨在支撑句子级语义相似度等下游任务。
研究构建覆盖5类任务、17个子任务的评测基准,对比评估15种预训练编码器、6个LAMB训练检查点及1个消融模型。结果显示,LAMB在17个子任务中于16项取得最优性能,剩余1项亦仅落后当前最优水平0.8个百分点。论文还深入分析了分词器行为、句法结构、微调配置等因素对拉丁语模型性能的影响,并首次发现拉丁语开放类词在预训练末期‘终端衰减阶段’的独特习得规律。