RecHarness: 自己進化型レコメンダーシステムのためのバンディットルーティングエージェントハーネス

要旨

現代のレコメンダーモデルの最適化は、依然としてエンジニアによるアーキテクチャ、目的関数、学習戦略の変更を手作業で繰り返す試行錯誤に大きく依存しています。LLMベースのエージェントはこの試行錯誤プロセスを自動化できますが、LLMに変更方向の選択と具体的な仮説の生成の両方を任せると、限られた実験予算の下では探索が不安定になることがよくあります。上記の課題に着想を得て、我々は自動レコメンダーモデル最適化のためのBandit-Routed Agentic HarnessであるRecHarnessを提案します。RecHarnessは最適化プロセスを2つのステップに分離します。バンディットルーターが過去の検証フィードバックに基づいて次の変更方向を選択し、LLMが選択された方向内で具体的な最適化仮説と実行可能なコード編集を生成します。長期的な探索を持続するために、RecHarnessはジャンプベイスン機構を用いて、局所的な編集が停滞した際に構造的ジャンプアームを活性化します。複数のレコメンデーションタスク、データセット、モデルバックボーンにわたって、RecHarnessはLLM推論探索よりも安定した性能向上を達成し、限られた試行予算をより効果的に活用します。大規模なショート動画広告プラットフォームでの7日間のオンラインA/Bテストでは、選択された候補がADVVを2.084%、収益を0.534%、露出を0.559%改善しました。コードはhttps://github.com/6lyc/RecHarnessで公開されています。

English

Optimizing modern recommender models still depends heavily on engineers manually iterating over architectural, objective, and training-strategy changes. While LLM-based agents can automate this trial-and-error process, allowing the LLM to both select modification directions and generate concrete hypotheses often leads to unstable search under limited experiment budgets. Inspired by the above challenge, we propose RecHarness, a Bandit-Routed Agentic Harness for automated recommender model optimization. RecHarness separates the optimization process into two steps: a bandit router selects the next modification direction according to historical validation feedback, while the LLM generates a concrete optimization hypothesis and executable code edit within the selected direction. To sustain long-horizon exploration, RecHarness uses a jump-basin mechanism to activate a structural-jump arm when local edits stagnate. Across multiple recommendation tasks, datasets, and model backbones, RecHarness achieves more stable performance improvements and uses limited trial budgets more effectively than LLM-reasoning search. During a 7-day online A/B test on a large-scale short-video advertising platform, the selected candidate improves ADVV by 2.084%, Revenue by 0.534%, and Exposure by 0.559%. Code is available at https://github.com/6lyc/RecHarness.