マージベースの語彙拡張は、トークン化前の段階で停滞：ネパール語向けの英語保持型修復手法、継続的な事前学習において検証
arXiv:2610.33016v1 発表タイプ：新規 要旨：Llama-3、Qwen3 および多くの他のオープンな大規模言語モデルは、単語の種類が Unicode の文字のみを許容する正規表現を用いてテキストを事前トークン化している。デーヴァナーガリー文字の母音記号は結合記号であるため、この正規表現ではネパール語の単語が各母音記号ごとに分割され、これを採用するモデルは、同じ英語テキストに比べてネパール語に対して 2.6〜5.8 倍ものトークン数を消費する。マージベースの語彙拡張手法では、分割された部分を再結合することはできない。Llama-3 および Qwen3 においては、新たなマージ回数をいくら増やしても、このペナルティは約 2.2 を下回ることはなく、すでに公開されている 10 種類の拡張でも、この事前トークン化による下限値から 4% 以内に収まらない。そこで、我々は配備済みの正規表現に小さな修正を加え、結合記号やデーヴァナーガリー文字を含まないテキストのすべてのトークン ID を保証できるようにした。さらに 32,000 回の新たなマージを施すことで、ネパール語は英語の 1.01 倍にまで引き上げられる。
