병합 기반 어휘 확장은 사전 토크나이저 단계에서 정체되며: 네팔어를 위한 영어 보존형 복구, 지속적 사전 학습에서 검증됨
arXiv:2610.33016v1 발표 유형: 신규 초록: Llama-3, Qwen3 및 기타 다수의 오픈 LLM은 단어 클래스가 유니코드 문자만 허용하는 정규 표현식을 사용해 텍스트를 사전 토크나이제합니다. 데바나가리 모음 부호는 결합 기호이므로 이 정규 표현식은 네팔어 단어를 각 모음 부호마다 분할하며, 이를 사용하는 모델들은 동일한 영어 텍스트에 비해 네팔어에서 2.6배에서 5.8배 많은 토큰을 소비합니다. 병합 기반 어휘 확장 방식은 분할된 조각들을 합칠 수 없으며, Llama-3와 Qwen3의 경우 아무리 많은 새로운 병합을 시도해도 이 프리토크나이즈 바닥값을 약 2.2 이하로 낮출 수 없고, 이미 공개된 열 개의 확장어휘조차 이 기준치에서 4% 이내에 머물러 있습니다. 우리는 배포된 정규 표현식에 대해 작은 수정을 가하여, 결합 기호나 데바나가리 문자를 포함하지 않는 모든 토큰 ID를 보장함을 입증했습니다. 여기에 32,000개의 새로운 병합을 추가하면 네팔어는 영어의 1.01배 수준으로 상승하게 됩니다, 그리고
