AgenticGen：広告のための報酬ガイド付きエージェント型動画生成

要旨

広告動画生成は、動画合成タスクであるだけでなく、成功がオンラインビジネス指標によって測られる商品条件付き推論問題でもある。近年の動画基盤モデルは、マルチモーダル条件からリアルなクリップを生成できるが、商品を効果的な広告へと変換すべき方法や、オンラインビジネスフィードバックから将来の生成を改善すべき方法を最適化しているわけではない。このループを閉じるために、我々はAgenticGenを提案する。これは、広告動画生成を、訓練可能な2つの推論段階である戦略選択とドラフト生成に分解する報酬誘導型エージェントフレームワークであり、それにより、オンラインビジネスフィードバックが監督可能な最適化目標を顕在化させる。AgenticGenは、蓄積されたオンラインフィードバックから性能ベースの報酬を、また人間の品質基準に整合する補完的なルーブリックベースの報酬を学習し、それらを用いて方策最適化を監督する。DPOはまずエージェント方策をオンライン選好へ近づけ、GRPOはプロセス報酬と結果報酬によって両段階をさらに精緻化する。オフライン実験により、報酬モデルと逐次的な方策最適化が検証される。TikTok広告システムにおけるオンラインA/B実験では、DPOおよびGRPO適用後のAgenticGenが、SFTベースラインと比較してCTRを2.72%、CVRを2.63%、Advvを9.61%改善することが示されている。

English

Advertising video generation is not only a video synthesis task, but also a product-conditioned reasoning problem whose success is measured by online business metrics. Recent video foundation models can generate realistic clips from multimodal conditions, yet they do not optimize how a product should be transformed into an effective advertisement or how future generation should be improved from online business feedback. To close this loop, we propose AgenticGen, a reward-guided agentic framework that decomposes advertising video generation into two trainable reasoning stages, strategy selection and draft generation, thereby exposing optimization targets that online business feedback can supervise. AgenticGen learns a performance-based reward from accumulated online feedback and a complementary rubric-based reward aligned with human quality standards, then uses them to supervise policy optimization. DPO first moves the agentic policies toward online preferences, and GRPO further refines both stages with process and outcome rewards. Offline experiments validate the reward models and successive policy optimization. Online A/B experiments in the TikTok advertising system show that AgenticGen after DPO and GRPO improves CTR by 2.72%, CVR by 2.63%, and Advv by 9.61% over the SFT baseline.