Avatar V : Mise à l'échelle de la génération de vidéos d'avatar avec référence vidéo

Résumé

Générer des vidéos d’avatar qui ne sont pas seulement visuellement similaires à une personne cible, mais également reconnaissables sur le plan comportemental, en reproduisant fidèlement leur rythme de parole, leurs tendances gestuelles et leur dynamique expressionnelle, reste un défi ouvert. Les méthodes existantes se basent principalement sur des images statiques uniques, qui fournissent des informations d’identité insuffisantes et ne peuvent capturer les traits dynamiques du mouvement, tandis que les objectifs standard au niveau des pixels sous-servent les régions faciales critiques pour la perception qui déterminent la fidélité de l’avatar. Nous présentons Avatar V, un cadre à l’échelle de production qui répond à ces limitations grâce à une modélisation de l’identité conditionnée par une référence vidéo. Plutôt que de compresser l’identité en embeddings de taille fixe, le modèle se conditionne directement sur la séquence complète de tokens d’une vidéo de référence, apprenant à reproduire à la fois les attributs d’identité statique (géométrie faciale, texture de la peau) et les schémas comportementaux dynamiques (rythme de parole, micro-expressions) via une attention sur le contexte de référence. Nous introduisons l’Attention de Référence Éparse (Sparse Reference Attention), un mécanisme asymétrique offrant un conditionnement à complexité linéaire sur des références arbitrairement longues ; un flux de représentation du mouvement permettant le transfert de style de parole en boucle fermée ; et un affineur de super-résolution conscient de l’identité héritant du conditionnement complet de la référence. Ces éléments sont soutenus par un moteur de données qui organise plus de 100 millions de clips d’entraînement à partir de 50 millions de vidéos brutes, et un pipeline d’entraînement en cinq étapes comprenant un pré-entraînement par appariement de flux (flow matching), un réglage fin de la personnalité, une distillation en deux phases (accélération >10×), et un alignement RLHF, déployé sur des milliers de GPU. Avatar V génère des vidéos 1080p de durée illimitée, atteignant un état de l’art en matière de préservation de l’identité, de synchronisation labiale et de qualité de génération sur notre référentiel trans-scène, surpassant systématiquement les systèmes leaders tels que Seedance 2.0, Kling O3 Pro, Veo 3.1 et OmniHuman 1.5, à la fois dans les métriques automatisées et l’évaluation humaine.

English

Generating avatar videos that are not merely visually similar to a target individual but behaviorally recognizable, faithfully reproducing their talking rhythm, gestural tendencies, and expression dynamics, remains an open challenge. Existing methods predominantly condition on single static images, which provide insufficient identity information and cannot capture dynamic motion traits, while standard pixel-level objectives underserve the perceptually critical facial regions that determine avatar fidelity. We present Avatar V, a production-scale framework that addresses these limitations through video-reference-conditioned identity modeling. Rather than compressing identity into fixed-size embeddings, the model conditions directly on the full token sequence of a reference video, learning to reproduce both static identity attributes (facial geometry, skin texture) and dynamic behavioral patterns (talking rhythm, micro-expressions) through attention over the reference context. We introduce Sparse Reference Attention, an asymmetric mechanism achieving linear-complexity conditioning on arbitrarily long references; a motion representation stream enabling closed-loop talking style transfer; and an identity-aware super-resolution refiner inheriting the full reference conditioning. These are supported by a data engine curating 100M+ training clips from 50M raw videos, and a five-stage training pipeline with flow matching pre-training, personality fine-tuning, two-phase distillation (>10x acceleration), and RLHF alignment, deployed across thousands of GPUs. Avatar V generates 1080p videos of unlimited duration, achieving state-of-the-art identity preservation, lip synchronization, and generation quality on our cross-scene benchmark, consistently outperforming leading systems including Seedance 2.0, Kling O3 Pro, Veo 3.1, and OmniHuman 1.5 in both automated metrics and human evaluation.