Avatar V: Масштабирование генерации видео-аватаров по видео-референсу

Аннотация

Создание аватаров, которые не просто визуально похожи на целевого человека, но и поведенчески узнаваемы, точно воспроизводя его ритм речи, жестикуляцию и динамику выражений лица, остается открытой проблемой. Существующие методы в основном опираются на одиночные статические изображения, которые дают недостаточно информации о личности и не позволяют улавливать динамические двигательные характеристики, в то время как стандартные пиксельные функции не охватывают критически важные для восприятия области лица, определяющие качество аватара. Мы представляем Avatar V — платформу производственного масштаба, которая решает эти ограничения с помощью моделирования личности, обусловленного видеоссылками. Вместо сжатия личности в эмбеддинги фиксированного размера модель напрямую использует полную последовательность токенов эталонного видео, обучаясь воспроизводить как статические атрибуты личности (геометрию лица, текстуру кожи), так и динамические поведенческие паттерны (ритм речи, микровыражения) через внимание к контексту эталонного видео. Мы внедряем Разреженное Эталонное Внимание — асимметричный механизм, обеспечивающий наложение условий на произвольно длинные эталонные последовательности с линейной сложностью; поток представления движений, позволяющий замкнутую передачу стиля речи; а также уточнитель сверхразрешения, учитывающий личность и наследущий полное обусловливание эталонным видео. Эти компоненты поддерживаются механизмом обработки данных, который отбирает более 100 млн тренировочных клипов из 50 млн исходных видео, и пятиэтапным конвейером обучения с предварительным обучением на основе согласования потоков, тонкой настройкой личности, двухфазной дистилляцией (ускорение более чем в 10 раз) и выравниванием с обратной связью от человека (RLHF), развернутым на тысячах GPU. Avatar V генерирует видео 1080p неограниченной длительности, достигая передовых показателей сохранения личности, синхронизации губ и качества генерации на нашем межсценарном эталоне, стабильно превосходя ведущие системы, включая Seedance 2.0, Kling O3 Pro, Veo 3.1 и OmniHuman 1.5, как по автоматическим метрикам, так и по оценкам человека.

English

Generating avatar videos that are not merely visually similar to a target individual but behaviorally recognizable, faithfully reproducing their talking rhythm, gestural tendencies, and expression dynamics, remains an open challenge. Existing methods predominantly condition on single static images, which provide insufficient identity information and cannot capture dynamic motion traits, while standard pixel-level objectives underserve the perceptually critical facial regions that determine avatar fidelity. We present Avatar V, a production-scale framework that addresses these limitations through video-reference-conditioned identity modeling. Rather than compressing identity into fixed-size embeddings, the model conditions directly on the full token sequence of a reference video, learning to reproduce both static identity attributes (facial geometry, skin texture) and dynamic behavioral patterns (talking rhythm, micro-expressions) through attention over the reference context. We introduce Sparse Reference Attention, an asymmetric mechanism achieving linear-complexity conditioning on arbitrarily long references; a motion representation stream enabling closed-loop talking style transfer; and an identity-aware super-resolution refiner inheriting the full reference conditioning. These are supported by a data engine curating 100M+ training clips from 50M raw videos, and a five-stage training pipeline with flow matching pre-training, personality fine-tuning, two-phase distillation (>10x acceleration), and RLHF alignment, deployed across thousands of GPUs. Avatar V generates 1080p videos of unlimited duration, achieving state-of-the-art identity preservation, lip synchronization, and generation quality on our cross-scene benchmark, consistently outperforming leading systems including Seedance 2.0, Kling O3 Pro, Veo 3.1, and OmniHuman 1.5 in both automated metrics and human evaluation.