Avatar V: Skalierung der videoreferenzbasierten Avatar-Videogenerierung

Zusammenfassung

Die Erstellung von Avatar-Videos, die einer Zielperson nicht nur visuell ähneln, sondern auch verhaltensbezogen erkennbar sind, indem sie deren Sprechrhythmus, Gestentendenzen und Ausdrucksdynamik originalgetreu reproduzieren, bleibt eine offene Herausforderung. Bestehende Methoden basieren überwiegend auf einzelnen Standbildern, die unzureichende Identitätsinformationen liefern und keine dynamischen Bewegungsmerkmale erfassen können, während standardmäßige Pixel-Level-Objekte die wahrnehmungskritischen Gesichtsregionen unzureichend bedienen, welche die Glaubwürdigkeit des Avatars bestimmen. Wir präsentieren Avatar V, ein skalierbares Produktionssystem, das diese Einschränkungen durch video-referenzgesteuerte Identitätsmodellierung überwindet. Anstatt Identität in Embeddings fester Größe zu komprimieren, konditioniert das Modell direkt auf der vollständigen Token-Sequenz eines Referenzvideos und lernt, sowohl statische Identitätsattribute (Gesichtsgeometrie, Hauttextur) als auch dynamische Verhaltensmuster (Sprechrhythmus, Mikroexpressionen) durch Aufmerksamkeit über den Referenzkontext nachzubilden. Wir führen Sparse Reference Attention ein, einen asymmetrischen Mechanismus, der eine Konditionierung mit linearer Komplexität auf beliebig lange Referenzen ermöglicht; einen Bewegungsrepräsentationsstrom, der einen geschlossenen Sprechstil-Transfer ermöglicht; und einen identitätsbewussten Super-Resolution-Refiner, der die vollständige Referenzkonditionierung übernimmt. Unterstützt werden diese durch eine Daten-Engine, die über 100 Millionen Trainingsclips aus 50 Millionen Rohvideos kuratiert, sowie eine fünfstufige Trainingspipeline mit Flow-Matching-Vortraining, Persönlichkeits-Feintuning, zweiphasiger Destillation (>10-fache Beschleunigung) und RLHF-Ausrichtung, die auf Tausenden von GPUs eingesetzt wird. Avatar V generiert 1080p-Videos unbegrenzter Dauer und erzielt auf unserem Cross-Scene-Benchmark modernste Ergebnisse in Bezug auf Identitätserhaltung, Lippen-Synchronisation und Generierungsqualität, wobei es führende Systeme wie Seedance 2.0, Kling O3 Pro, Veo 3.1 und OmniHuman 1.5 sowohl in automatischen Metriken als auch in der menschlichen Bewertung konsistent übertrifft.

English

Generating avatar videos that are not merely visually similar to a target individual but behaviorally recognizable, faithfully reproducing their talking rhythm, gestural tendencies, and expression dynamics, remains an open challenge. Existing methods predominantly condition on single static images, which provide insufficient identity information and cannot capture dynamic motion traits, while standard pixel-level objectives underserve the perceptually critical facial regions that determine avatar fidelity. We present Avatar V, a production-scale framework that addresses these limitations through video-reference-conditioned identity modeling. Rather than compressing identity into fixed-size embeddings, the model conditions directly on the full token sequence of a reference video, learning to reproduce both static identity attributes (facial geometry, skin texture) and dynamic behavioral patterns (talking rhythm, micro-expressions) through attention over the reference context. We introduce Sparse Reference Attention, an asymmetric mechanism achieving linear-complexity conditioning on arbitrarily long references; a motion representation stream enabling closed-loop talking style transfer; and an identity-aware super-resolution refiner inheriting the full reference conditioning. These are supported by a data engine curating 100M+ training clips from 50M raw videos, and a five-stage training pipeline with flow matching pre-training, personality fine-tuning, two-phase distillation (>10x acceleration), and RLHF alignment, deployed across thousands of GPUs. Avatar V generates 1080p videos of unlimited duration, achieving state-of-the-art identity preservation, lip synchronization, and generation quality on our cross-scene benchmark, consistently outperforming leading systems including Seedance 2.0, Kling O3 Pro, Veo 3.1, and OmniHuman 1.5 in both automated metrics and human evaluation.