하네스와 함께 진화하도록 훈련된 에이전트: TaoLive 디지털 아바타 에이전트 기술 보고서

초록

AI 기반 디지털 아바타 스트리머는 실시간으로 제품 질문에 응답하고, 시청자와 상호작용하며, 마케팅 전략을 실행해야 하므로, 낮은 지연 시간, 잦은 전략 업데이트, 정확하면서도 효과적인 응답이 요구된다. 모델 가중치와 독립적으로 Skills, Hooks, 프롬프트, 도구를 업데이트할 수 있는 진화 가능한 하네스(Evolvable Harnesses)는 빠른 반복을 가능하게 하지만, 대형 모델은 제로샷으로 적응하지만 너무 느리고, 소형 모델은 지연 시간 목표를 충족하지만 고정된 하네스 구성에 과적합되는 상충 관계를 드러낸다. 우리는 변화하는 하네스에 적응하도록 소형 모델을 학습시키는 하네스 인식 학습(Harness-Aware Training, HAT)을 제안한다. 핵심 구성 요소인 하네스 상태 증강(Harness-State Augmentation, HSA)은 Skill 식별자와 내용, 도구 스키마, 프롬프트 구조, Hook 함수에 작업 보존 변환을 적용한다. 학습은 세 단계로 진행된다: HSA-SFT는 다양한 환경에서 강력한 모델의 궤적으로부터 추론과 도구 사용을 학습하고, 일반 온정책 증류(General On-Policy Distillation)는 SFT 중 상실된 일반화를 복원하며, HSA-RL은 증강된 환경에서 강화학습을 통해 변화하는 하네스에 대한 강건성을 향상시킨다. 네 개의 평가 세트에서 HAT는 Live-Stream QA에서 94.8(기준 80.3; 가장 강력한 일반 LLM 93.0), Harness-Variant QA에서 94.6(기준 75.4)을 달성한다. 기준 모델 대비 IFEval을 7.7점 낮추는 고정 하네스 SFT와 달리, HAT는 이러한 성능 회귀를 피하고 83.5에 도달한다. 하나의 NVIDIA H20 GPU에서 최적화된 시스템은 P50 및 P95 지연 시간으로 각각 3.4초와 8.1초를 제공한다. 또한 타오바오 라이브의 디지털 아바타 서비스에 배포되어 GMV 및 상품 페이지 조회수에서 긍정적인 온라인 A/B 테스트 결과를 얻었다.

English

AI-powered digital avatar streamers must answer product questions, engage viewers, and execute marketing strategies in real time, demanding low latency, frequent strategy updates, and accurate yet effective responses. Evolvable Harnesses, whose Skills, Hooks, prompts, and tools can be updated independently of model weights, enable rapid iteration but expose a trade-off: large models adapt zero-shot yet are too slow, whereas compact models meet latency targets but overfit to fixed Harness configurations. We propose Harness-Aware Training (HAT), which trains compact models to adapt to changing Harnesses. Its key component, Harness-State Augmentation (HSA), applies task-preserving transformations to Skill identifiers and content, tool schemas, prompt structures, and Hook functions. Training proceeds in three stages: HSA-SFT learns reasoning and tool use from strong-model trajectories across diverse environments; General On-Policy Distillation restores generalization lost during SFT; and HSA-RL improves robustness to changing Harnesses through reinforcement learning in augmented environments. Across four evaluation sets, HAT achieves 94.8 on Live-Stream QA (base: 80.3; strongest general LLM: 93.0) and 94.6 on Harness-Variant QA (base: 75.4). Unlike Fixed-Harness SFT, which lowers IFEval by 7.7 points from the base model, HAT avoids this regression and reaches 83.5. On one NVIDIA H20 GPU, the optimized system delivers P50 and P95 latencies of 3.4 s and 8.1 s. Deployed in Taobao Live's digital-avatar service, it also yields positive online A/B test results for GMV and item-page views.