CharacterFlywheel: Escalonando a Melhoria Iterativa de LLMs Engajadores e Direcionáveis em Produção
CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
March 2, 2026
Autores: Yixin Nie, Lin Guan, Zhongyao Ma, Anchit Gupta, Yipin Zhou, Xiao Li, Zhengping Zhou, Raymond Zeng, Gelin Zhou, Shigan Chu, Ajay Thampi, Wancen Mu, Nathan Shuster, Ketong Wang, Lin Chen, Jason Brewer, Derek Hao Hu, Alexander McCauley, Jason Weston, Sem Park, Na Zhang, Kevin Tang
cs.AI
Resumo
Este relatório apresenta o CharacterFlywheel, um processo iterativo de roda de inércia (flywheel) para aprimorar modelos de linguagem de grande escala (LLMs) em aplicações de chat social em produção no Instagram, WhatsApp e Messenger. Partindo do LLaMA 3.1, refinamos modelos ao longo de 15 gerações utilizando dados de tráfego real de usuários, tanto internos quanto externos. Por meio de implantações contínuas de julho de 2024 a abril de 2025, conduzimos testes A/B controlados de 7 dias que mostraram melhorias consistentes de engajamento: 7 dos 8 novos modelos implantados demonstraram ganho positivo em relação à linha de base, com os de melhor desempenho alcançando até 8,8% de melhoria na amplitude do engajamento e 19,4% na sua profundidade. Também observamos ganhos substanciais em capacidade de direcionamento (steerability), com o seguimento de instruções aumentando de 59,2% para 84,8% e as violações de instruções diminuindo de 26,6% para 5,8%. Detalhamos o processo CharacterFlywheel, que integra curadoria de dados, modelagem de recompensa para estimar e interpolar o cenário das métricas de engajamento, ajuste fino supervisionado (SFT), aprendizado por reforço (RL) e avaliação tanto offline quanto online para garantir progresso confiável em cada etapa de otimização. Também discutimos nossos métodos para prevenção de sobreajuste e para navegar pelas dinâmicas de produção em larga escala. Essas contribuições avançam o rigor científico e a compreensão dos LLMs em aplicações sociais que atendem a milhões de usuários.
English
This report presents CharacterFlywheel, an iterative flywheel process for improving large language models (LLMs) in production social chat applications across Instagram, WhatsApp, and Messenger. Starting from LLaMA 3.1, we refined models across 15 generations using data from both internal and external real-user traffic. Through continuous deployments from July 2024 to April 2025, we conducted controlled 7-day A/B tests showing consistent engagement improvements: 7 of 8 newly deployed models demonstrated positive lift over the baseline, with the strongest performers achieving up to 8.8% improvement in engagement breadth and 19.4% in engagement depth. We also observed substantial gains in steerability, with instruction following increasing from 59.2% to 84.8% and instruction violations decreasing from 26.6% to 5.8%. We detail the CharacterFlywheel process which integrates data curation, reward modeling to estimate and interpolate the landscape of engagement metrics, supervised fine-tuning (SFT), reinforcement learning (RL), and both offline and online evaluation to ensure reliable progress at each optimization step. We also discuss our methods for overfitting prevention and navigating production dynamics at scale. These contributions advance the scientific rigor and understanding of LLMs in social applications serving millions of users.