RecHarness: 자기 진화형 추천 시스템을 위한 밴디트 라우팅 에이전틱 하네스

초록

현대 추천 모델의 최적화는 여전히 엔지니어가 아키텍처, 목적 함수, 훈련 전략 변경을 수동으로 반복하는 데 크게 의존합니다. LLM 기반 에이전트가 이러한 시행착오 과정을 자동화할 수 있지만, LLM이 수정 방향 선정과 구체적인 가설 생성까지 모두 수행하도록 허용하면 제한된 실험 예산 하에서 탐색이 불안정해지는 경우가 많습니다. 이러한 문제에서 영감을 얻어, 우리는 추천 모델 자동 최적화를 위한 밴딧 라우팅 기반 에이전틱 하네스인 RecHarness를 제안합니다. RecHarness는 최적화 과정을 두 단계로 분리합니다. 밴딧 라우터는 과거 검증 피드백에 따라 다음 수정 방향을 선택하고, LLM은 선택된 방향 내에서 구체적인 최적화 가설과 실행 가능한 코드 수정을 생성합니다. 장기적 탐색을 지속하기 위해 RecHarness는 점프-베이슨 메커니즘을 사용하여 지역적 수정이 정체되면 구조적 점프 팔을 활성화합니다. 여러 추천 태스크, 데이터셋, 모델 백본에 걸쳐 RecHarness는 LLM 추론 탐색보다 더 안정적인 성능 향상을 달성하고 제한된 실험 예산을 더 효과적으로 사용합니다. 대규모 숏폼 광고 플랫폼에서 진행한 7일간의 온라인 A/B 테스트에서, 선택된 후보는 ADVV를 2.084%, 수익을 0.534%, 노출을 0.559% 개선했습니다. 코드는 https://github.com/6lyc/RecHarness에서 확인할 수 있습니다.

English

Optimizing modern recommender models still depends heavily on engineers manually iterating over architectural, objective, and training-strategy changes. While LLM-based agents can automate this trial-and-error process, allowing the LLM to both select modification directions and generate concrete hypotheses often leads to unstable search under limited experiment budgets. Inspired by the above challenge, we propose RecHarness, a Bandit-Routed Agentic Harness for automated recommender model optimization. RecHarness separates the optimization process into two steps: a bandit router selects the next modification direction according to historical validation feedback, while the LLM generates a concrete optimization hypothesis and executable code edit within the selected direction. To sustain long-horizon exploration, RecHarness uses a jump-basin mechanism to activate a structural-jump arm when local edits stagnate. Across multiple recommendation tasks, datasets, and model backbones, RecHarness achieves more stable performance improvements and uses limited trial budgets more effectively than LLM-reasoning search. During a 7-day online A/B test on a large-scale short-video advertising platform, the selected candidate improves ADVV by 2.084%, Revenue by 0.534%, and Exposure by 0.559%. Code is available at https://github.com/6lyc/RecHarness.