Mirendilは、同社初のAIモデルであるFernをリリースしました。Mirendil Fernはゼロから構築されたコーディングモデルで、コンテキストウィンドウは最大1,000万トークンに達します。Mirendilによれば、これは約23MBのコード、すなわちおよそ50万行に相当する規模です。これはMegatron-LMクラスの規模のコードベースであり、一度に全コンテキストを保持できます。Fern 0.1は、短いポストトレーニングを経てMirendil-Baseから構築された最初のバージョンです。開発者にとっては、まるでリポジトリ全体や完全なトレーニングログ、あるいは数日分のエージェントトレースを一気に読み込めるようなものです。
要約
サイズ：0.1〜0.5Tのパラメータ（正確な数およびアクティブなパラメータは非公表）；コンテキストは最大1,000万トークン。
動作環境：ホスト型の早期アクセス版のみで、公開された重みや量子化済みビルドはまだありません。
性能：長文コンテキストの検索が優れており、オープンウェイトモデルに比べて中位レベルのエージェント型コーディングを実現するが、最先端モデルには大きく遅れている。
最高：ベースモデルにおいて、32Kトークンから10Mトークンまでのあらゆる長さで、RULER単針リトリーブにおいて100%の性能を発揮します。
最悪：Terminal Bench 4.0では6.1%、一方でMirendil自身の表ではClaude Opus 5.5が66.4%を記録しています。
ミレンディル・フェルンとは何ですか？
Fernは、AI研究開発ラボであるMirendilが開発した言語モデルです。
Fernは一般的なチャットではなく、AIの研究開発を目的としています。Mirendilは6つの具体的な用途を挙げています：
より大規模なコードベースでの作業
テストが合格するまでコマンドを実行し続けるアジェンティックコーディング
研究コード：トレーニングループ、データパイプラインおよび評価
長大なログやスタックトレースからトレーニング実行をデバッグする
エージェントまたはトレーニングのトレースを端から端まで完全に読み取る
重複、汚染および不要データがないか、事前学習用のシャードを監査しています
Fernはどのように構築されましたか？
FernはMirendil-Base上に構築されており、Mirendilによれば、ある研究者は3.5か月でこれを事前学習したという。実験費、エージェントのトークン消費、データ処理を含めても、総計算コストは1,000万ドル未満だった。AIエージェントがコードの99％以上を生成した。研究者は、何を試すか、いつ介入するかを決定した。
学習データは、GitHub、公開コード、ウェブページ、公開データセットといった公的ソースからのみ取得されました。ミレンディル氏によれば、蒸留手法や合成データ、ライセンス付きデータは一切使用していません。コードはPyTorchおよびJAXを用いてゼロから開発されました。
Fernは、計画されている3つのモデルのうち最も小型です。Mirendil-Base-Large（0.5〜2Tのパラメータ）は、事前学習が80％以上進んでいます。Mirendil-Base-XL（2〜10T）は、20％以上進んでいます。
より長いコンテキストは本当に役立つのでしょうか？
Mirendilは、自社のリポジトリを連結して42.9 MBのストリームにした上で、次トークン予測をテストしました。ビット/バイト単位のクロスエントロピーを指標として測定し、値が低いほど性能が優れていることを示します。なお、ここでのウィンドウサイズはトークン数ではなくバイト数で測定されています。
Fernの損失は、32Kバイトのウィンドウでは0.246だったが、16Mバイトおよび23Mバイトの場合はそれぞれ0.155に低下した。他のモデルは、それぞれ公表されている上限である約1Mトークンまで評価された。1Mバイトのウィンドウにおいて、Kimi-K3は0.140、Fernは0.165を記録した。したがって、同等のコンテキストにおいてFernが最も優れた予測器というわけではない。その利点は、他のモデルが止まる地点を超えて曲線が伸び続ける点にある。
FernはRULERでどのような評価を受けていますか？
RULERは標準的な長文コンテキストのベンチマークです。Mirendilは、事前・事後学習モデルであるMirendil-Base上で5つのRULERタスクを実行しました。その際、貪欲解釈、思考外挿、および正確な文字列照合を用いました。
RULERタスク32K1M4M10MSingle needle100100100100Multi-key retrieval100989890Multi-key, all needles100100100100Variable tracking1009575100Multi-hop QA (HotpotQA)65656045
検索性能は良好に維持されています。1,000万語規模では、マルチホップ推論の精度が45%に低下します。各1,000万語単位のセルには、他の場所で100例使用するのに対し、わずか20例しか使用されていません。Mirendil氏は、より広範な長文コンテキストに関する結果が今後公開されると述べています。
Fern 0.1はエージェント系ベンチマークでどのような性能を示すのでしょうか？
MirendilはFern 0.1をオープンウェイトモデルおよびフロンティアモデルと比較しました。他のモデルのスコアは、モデルカード、リーダーボード、またはMirendil自身による実行結果に基づいています。
ベンチマーク（合格率）Fern 0.1Kimi-K3GLM-5.3Claude Opus 5.5DeepSWE v1.144.267.366.974.2Terminal Bench 4.06.112.641.966.4SWE Atlas QnA53.266.159.466.4SWE-Pro v2 ハード76.588.284.3100.0SWE-Bench Verified73.493.495.498.2
Fern 0.1は、5つのテストのうち4つでInklingおよびNemotron 3 Ultraを上回ります。SWE-Pro v2 HardではBeamと並び、スコアは76.5です。一方、SWE-Bench VerifiedではBeamに劣り、73.4対81.6となります。表に掲載されたあらゆるフロンティアモデルおよび大規模オープンモデルが、いずれもFern 0.1を下回っています。
Fernは類似のモデルと比べてどうでしょうか？
FeatureFern 0.1Kimi-K3GLM-5.3開発者MirendilMoonshot AIZ.ai総パラメータ数0.1〜0.5T2.8T753Bアクティブなパラメータ非公開104B〜40Bコンテキスト最大1,000万トークン1,048,576トークン1,048,576トークン入力テキスト、コードテキスト、画像、動画テキストライセンス非公開Kimi K3ライセンスGLM-5.3ライセンス重み未公開オープンオープンアクセス早期アクセス申請オープンな重み、APIオープンな重み、APISWE-Bench検証済み*73.493.495.41MBあたりのビット数*0.1650.1400.170
*ミレンディルの発表資料に掲載された図表からの数値。
主なポイント
Fern 0.1は最大1,000万トークンをサポートし、コードサイズは約23 MBです。
バイトあたりのビット数は、23Mバイトのウィンドウで0.155まで低下し続けている。
RULERのシングルニードルは、32Kから10Mトークンまで常に100%を維持します。
エージェント型コーディングの遅延：Terminal Bench 4.0で6.1%。
1人の研究者が構築したベースモデルに、エージェントを加えて、費用は1,000万ドル未満です。
Fernの発表、Mirendil-Baseの事前学習に関する投稿をぜひご覧ください。また、早期アクセスのリクエストもお忘れなく。さらに、Twitterでもぜひフォローしていただき、15万人超のML SubRedditへの参加やニュースレターの購読もお忘れなく。あ、そうでした！Telegramをご利用ですか？今ならTelegramでも私たちにご参加いただけます。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションについて、当社と提携しませんか？ぜひご連絡ください。
投稿「Mirendil、1,000万トークンのコンテキストを備えた初のモデルFern 0.1をリリース」は、MarkTechPostに最初に掲載されました。