Frontis-MA1：機械学習エンジニアリングにおける再帰的自己改善に向けたAI4AIモデルの訓練

要旨

再帰的自己改善（RSI）には、AIを構築するプロセス自体を改善するAIシステム（すなわちAI4AI）が必要である。機械学習エンジニアリング（MLE）は、この能力を研究するための具体的かつ実行可能なテストベッドを提供する。我々は、MLEにおけるRSI研究のためのオープンなフルスタックシステムであるOpenMLEを導入する。これは、実行フィードバックを伴う検証可能なタスク環境（OpenMLE-Gym）、オペレータ学習（OpenMLE-RL）、および長期的探索（OpenMLE-Evo）にわたる。このスタック上で、我々はFrontis-MA1（35B）をMLE用のメタ進化エージェントとしてポストトレーニングし、ポストトレーニングと推論を4つの原子的プログラム進化オペレータ（Draft、Improve、Debug、Crossover）を中心に整合させる。同じオペレータは、すべての評価ベンチマークに対して重複排除されたデータ上で、実行に基づくSFTとRLを用いて訓練され、その後、長期的探索に組み込まれ、学習と進化を単一のループで結合する。MLE-Bench Liteにおいて、1台のRTX 4090（VRAM 12GB上限）でタスクあたり12時間の予算の下、Frontis-MA1（35B）は、OpenMLE-Evoを用いることで、ベースモデルと比較してMedal Averageを39.39%から60.61%に改善し、OpenMLE-Evo-Max（ベンチマーク非依存の経験事前分布と非同期探索）では71.21%に達し、GPT-5.5 + Codexを上回り、GPT-5.6 Solおよび2.8T Kimi K3に迫る。保持されたNatureBench Liteでは、両方のコンポーネントが転移する。フレームワークを固定した場合、訓練済みモデルに交換するとMatch-SOTAが50%から70%に上昇し、モデルを固定した場合、OpenMLE-Evoに交換すると20%から50%に上昇する。我々は、RSIに向けた実行可能なAI4AIに関する再現可能な研究を可能にするため、モデルの重みとOpenMLEスタック全体を公開する。コード: https://github.com/FrontisAI/OpenRSI

English

Recursive self-improvement (RSI) requires AI systems that improve the process of building AI (i.e., AI4AI); machine learning engineering (MLE) offers a concrete, executable testbed for studying this capability. We introduce OpenMLE, an open full-stack system for RSI research in MLE, spanning verifiable task environments with execution feedback (OpenMLE-Gym), operator learning (OpenMLE-RL), and long-horizon search (OpenMLE-Evo). On this stack we post-train Frontis-MA1 (35B) as a meta-evolution agent for MLE, aligning post-training and inference around four atomic program-evolution operators (Draft, Improve, Debug, Crossover): the same operators are trained via execution-grounded SFT and RL on data deduplicated against all evaluation benchmarks, then composed into long-horizon search, coupling learning and evolution in a single loop. On MLE-Bench Lite under a 12-hour per-task budget on one RTX 4090 capped at 12 GB VRAM, Frontis-MA1 (35B) improves Medal Average from 39.39% to 60.61% over its base model with OpenMLE-Evo, and reaches 71.21% with OpenMLE-Evo-Max (benchmark-independent experience priors and asynchronous search), exceeding GPT-5.5 + Codex and approaching GPT-5.6 Sol and the 2.8T Kimi K3. On held-out NatureBench Lite, both components transfer: with the framework fixed, swapping in the trained model raises Match-SOTA from 50% to 70%; with the model fixed, swapping in OpenMLE-Evo raises it from 20% to 50%. We release the model weights and the full OpenMLE stack to enable reproducible research on executable AI4AI toward RSI. Code: https://github.com/FrontisAI/OpenRSI