CharacterFlywheel : Mise à l'échelle de l'amélioration itérative de LLM engageants et pilotables en production
CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
March 2, 2026
Auteurs: Yixin Nie, Lin Guan, Zhongyao Ma, Anchit Gupta, Yipin Zhou, Xiao Li, Zhengping Zhou, Raymond Zeng, Gelin Zhou, Shigan Chu, Ajay Thampi, Wancen Mu, Nathan Shuster, Ketong Wang, Lin Chen, Jason Brewer, Derek Hao Hu, Alexander McCauley, Jason Weston, Sem Park, Na Zhang, Kevin Tang
cs.AI
Résumé
Ce rapport présente CharacterFlywheel, un processus itératif de type « volant d'inertie » pour l'amélioration des grands modèles de langage (LLM) déployés dans les applications de chat social de production sur Instagram, WhatsApp et Messenger. En partant de LLaMA 3.1, nous avons affiné les modèles sur 15 générations en utilisant des données issues du trafic réel des utilisateurs, à la fois interne et externe. Grâce à des déploiements continus de juillet 2024 à avril 2025, nous avons mené des tests A/B contrôlés de 7 jours montrant des améliorations constantes de l'engagement : 7 des 8 nouveaux modèles déployés ont démontré une amélioration positive par rapport à la ligne de base, les plus performants atteignant jusqu'à 8,8 % d'amélioration de l'ampleur de l'engagement et 19,4 % de sa profondeur. Nous avons également observé des gains substantiels en matière de pilotabilité, le suivi des instructions passant de 59,2 % à 84,8 % et les violations d'instructions diminuant de 26,6 % à 5,8 %. Nous détaillons le processus CharacterFlywheel qui intègre l'épuration des données, la modélisation de récompense pour estimer et interpoler le paysage des métriques d'engagement, le fine-tuning supervisé (SFT), l'apprentissage par renforcement (RL), ainsi que l'évaluation hors ligne et en ligne pour garantir des progrès fiables à chaque étape d'optimisation. Nous discutons également de nos méthodes pour prévenir le surapprentissage et naviguer les dynamiques de production à grande échelle. Ces contributions font progresser la rigueur scientifique et la compréhension des LLM dans les applications sociales qui desservent des millions d'utilisateurs.
English
This report presents CharacterFlywheel, an iterative flywheel process for improving large language models (LLMs) in production social chat applications across Instagram, WhatsApp, and Messenger. Starting from LLaMA 3.1, we refined models across 15 generations using data from both internal and external real-user traffic. Through continuous deployments from July 2024 to April 2025, we conducted controlled 7-day A/B tests showing consistent engagement improvements: 7 of 8 newly deployed models demonstrated positive lift over the baseline, with the strongest performers achieving up to 8.8% improvement in engagement breadth and 19.4% in engagement depth. We also observed substantial gains in steerability, with instruction following increasing from 59.2% to 84.8% and instruction violations decreasing from 26.6% to 5.8%. We detail the CharacterFlywheel process which integrates data curation, reward modeling to estimate and interpolate the landscape of engagement metrics, supervised fine-tuning (SFT), reinforcement learning (RL), and both offline and online evaluation to ensure reliable progress at each optimization step. We also discuss our methods for overfitting prevention and navigating production dynamics at scale. These contributions advance the scientific rigor and understanding of LLMs in social applications serving millions of users.