本番トラフィックからポストトレーニングへ：企業リクエスト構成をカバーするセルフホスト型LLMの構築

要旨

データ常駐制約により、企業はLLMをセルフホストせざるを得ないが、旧モデルを廃止せずに新モデルを継続的に導入すると、サービングフリートが拡大し、有限なGPUプールが断片化される。我々は、本番環境のエラー分析によって特定された品質ギャップを、指示追従、関数呼び出し、内部タスク分布という3つの軸に沿って解消することで、200以上の内部アプリケーションからのトラフィックを単一モデルに集約する。品質は、本番トラフィックに層別化されたオフラインベンチマークによって追跡され、決定論的検証器または較正済みLLM判定器によってスコアリングされる。クロスドメインの報酬干渉を引き起こす全目的の同時最適化ではなく、我々は軸ごとに個別のGRPOエキスパートを訓練し、2段階SLERPによってそれらを統合する。各エキスパートの報酬は、意味的崩壊、過剰呼び出し、冗長性ハッキングという異なる失敗モードを露呈し、それぞれにドメイン固有の修正が必要となる。非推論モードにおいて、本手法は社内Arenaで総パラメータ数が約7倍大きいベースラインを上回り（69.6対65.8）、指示追従では0.85対0.83、関数呼び出しでは0.79対0.77を達成し、一方で一般的な対話ベンチマークも向上させる。本モデルは、サービングコストのごく一部で、プラットフォームのトラフィックの50%、月間1億1600万リクエストを処理する。

English

Data-residency constraints force enterprises to self-host LLMs, but continuous adoption of newer models without decommissioning their predecessors expands the serving fleet, fragmenting a finite GPU pool. We consolidate traffic from over 200 internal applications onto a single model by closing quality gaps identified through production error analysis along three axes: instruction following, function-calling, and internal task distribution. Quality is tracked by offline benchmarks stratified to production traffic and scored by deterministic verifiers or calibrated LLM judges. Rather than optimising all objectives jointly, which introduces cross-domain reward interference, we train a separate GRPO expert per axis and merge them via two-stage SLERP. Each expert's reward exposes a distinct failure mode, namely semantic collapse, over-calling, and verbosity hacking, each requiring a domain-specific fix. In non-reasoning mode the recipe surpasses a {sim}7times larger by total parameters baseline on the in-house Arena with 69.6 to 65.8, instruction following with 0.85 to 0.83, and function-calling with 0.79 to 0.77, while lifting general dialogue benchmarks. The model absorbs 50% of platform traffic, 116M requests per month, at a fraction of the serving cost.