コリブリ：パレート最適境界上の主権を持つ欧州モデル

arXiv:2610.31945v1 公告タイプ：新規 要旨：本報告書では、Apache 2.0ライセンスの下でオープンウェイトとして公開された、総パラメータ数781億、トークンあたり有効パラメータ数34.6億の英語–ドイツ語混合専門家型トランスフォーマーであるKolibriを紹介します。Kolibriは主権的かつ専門的な展開を想定して構築されており、特にドイツ語および公共行政、産業、航空宇宙といった規制対象分野に重点を置いています。これらの環境に対応するため、データ、アーキテクチャ、学習インフラ、学習後の処理、評価に至るまで、モデル開発の全プロセスを自社で管理しています。Kolibriは、事前学習、中間学習、長文コンテキスト拡張の各段階にわたり、合計24Tトークンを用いて学習を行っており、データ構成においてドイツ語がバイト数ベースで20％以上を占めています。この割合を達成するため、ドイツ語データセットを補完する形で