再利用すべきでない時を知る：自律的LLMポストトレーニングにおける条件付き経験転移

要旨

大規模言語モデルは広範な能力を提供するが、進化し続けるドメイン、ツール、要件への適応には、しばしば反復的な事後トレーニングが必要となる。自律システムは、更新候補を提案し、トレーニング候補を生成し、評価フィードバックを用いて後続の提案を選択することにより、このプロセスの一部を自動化する。証拠が蓄積されるにつれて、中心的な問題が浮上する：後続のトレーニングによって親モデルが変更された後、過去のどの更新証拠が依然として実行可能なのか。更新の効果は、その親モデル、データ、およびトレーニング段階に依存する。過去の成功を文脈非依存の許可として扱うことは、計算資源を無駄にする可能性がある。結果として得られる子モデルが昇格した場合、その後のトレーニング軌道を悪化させることもあり得る。本稿では、この問題を条件付き経験転移として定式化し、重み変更トレーニングの前に経験の再利用を許可する手法である境界較正介入転移（BCIT）を紹介する。BCITは観測された効果をその発生源の文脈に結び付け、適用条件を検証し、名前付きのハード競合を持つ候補を拒否し、必要な場合には制限付きトレーニング試行を通じて現状の証拠を取得する。完全にトレーニングされた候補であっても、共通の採用規則に直面し、観測されたイベントのみがメモリを拡張する。金融推論、テキストからSQLへの変換、関数呼び出しに適応させた1つの4Bモデルにおいて、候補更新は評価された文脈全体にわたって異質なターゲット効果と保持効果を示した。整合された候補、証拠、計算資源の下で、BCITは評価された代替手法と比較して、有害な更新を許可する回数が少なく、同一予算での最終モデル品質が高い。これらの結果は、自律的事後トレーニングにおいて経験許可を独立した問題として扱うことを支持するものである。

English

Large language models offer broad capabilities, but adapting them to evolving domains, tools, and requirements often entails repeated post-training. Autonomous systems automate parts of this process by proposing updates, training candidates, and using evaluation feedback to select subsequent proposals. As evidence accumulates, a central problem emerges: which past update evidence remains actionable after subsequent training has changed the parent model? An update's effect depends on its parent, data, and training stage. Treating past success as context-free permission can waste compute. If the resulting child is promoted, it can also degrade the subsequent training trajectory. We formulate this problem as conditional experience transfer and introduce Boundary-Calibrated Intervention Transfer (BCIT), a method that authorizes experience reuse before weight-changing training. BCIT binds an observed effect to its source context, checks applicability conditions, vetoes candidates with named hard conflicts, and obtains current-state evidence through a bounded training trial when needed. Fully trained candidates still face a shared adoption rule, and only observed events extend memory. On one 4B model adapted across finance reasoning, text-to-SQL, and function calling, candidate updates exhibit heterogeneous target and retention effects across the evaluated contexts. Under matched candidates, evidence, and compute, BCIT authorizes fewer harmful updates and attains higher equal-budget final-model quality than the evaluated alternatives. These results support treating experience authorization as a distinct problem in autonomous post-training.

再利用すべきでない時を知る：自律的LLMポストトレーニングにおける条件付き経験転移

Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training

要旨

Support