Lynx: в направлении создания персонализированного видео с высокой точностью

Lynx: Towards High-Fidelity Personalized Video Generation

September 19, 2025

Авторы: Shen Sang, Tiancheng Zhi, Tianpei Gu, Jing Liu, Linjie Luo

cs.AI

Аннотация

Представляем Lynx — высокоточную модель для персонализированного синтеза видео на основе одного входного изображения. Построенная на базе открытой модели Diffusion Transformer (DiT), Lynx включает два легковесных адаптера для обеспечения точности передачи идентичности. ID-адаптер использует Perceiver Resampler для преобразования лицевых эмбеддингов, полученных с помощью ArcFace, в компактные токены идентичности для кондиционирования, в то время как Ref-адаптер интегрирует плотные признаки VAE из замороженного референсного пути, внедряя детализированные элементы на всех уровнях трансформера через механизм кросс-внимания. Эти модули совместно обеспечивают надежное сохранение идентичности, поддерживая временную согласованность и визуальный реализм. В ходе оценки на тщательно отобранном наборе данных из 40 субъектов и 20 нейтральных промптов, что составило 800 тестовых случаев, Lynx продемонстрировала превосходное сходство лиц, конкурентоспособное следование промптам и высокое качество видео, тем самым продвигая состояние персонализированной генерации видео.

English

We present Lynx, a high-fidelity model for personalized video synthesis from a single input image. Built on an open-source Diffusion Transformer (DiT) foundation model, Lynx introduces two lightweight adapters to ensure identity fidelity. The ID-adapter employs a Perceiver Resampler to convert ArcFace-derived facial embeddings into compact identity tokens for conditioning, while the Ref-adapter integrates dense VAE features from a frozen reference pathway, injecting fine-grained details across all transformer layers through cross-attention. These modules collectively enable robust identity preservation while maintaining temporal coherence and visual realism. Through evaluation on a curated benchmark of 40 subjects and 20 unbiased prompts, which yielded 800 test cases, Lynx has demonstrated superior face resemblance, competitive prompt following, and strong video quality, thereby advancing the state of personalized video generation.