Lynx: Auf dem Weg zur hochauflösenden personalisierten Videogenerierung

Lynx: Towards High-Fidelity Personalized Video Generation

September 19, 2025

papers.authors: Shen Sang, Tiancheng Zhi, Tianpei Gu, Jing Liu, Linjie Luo

cs.AI

papers.abstract

Wir präsentieren Lynx, ein hochpräzises Modell für die personalisierte Videosynthese aus einem einzelnen Eingabebild. Basierend auf einem Open-Source-Diffusion-Transformer (DiT)-Grundmodell führt Lynx zwei leichtgewichtige Adapter ein, um die Identitätstreue zu gewährleisten. Der ID-Adapter verwendet einen Perceiver Resampler, um aus ArcFace abgeleitete Gesichts-Einbettungen in kompakte Identitätstoken für die Konditionierung umzuwandeln, während der Ref-Adapter dichte VAE-Features aus einem eingefrorenen Referenzpfad integriert und fein abgestufte Details über alle Transformer-Schichten durch Cross-Attention einfügt. Diese Module ermöglichen gemeinsam eine robuste Identitätsbewahrung bei gleichzeitiger Wahrung der zeitlichen Kohärenz und visuellen Realität. Durch die Evaluierung anhand eines kuratierten Benchmarks mit 40 Probanden und 20 unvoreingenommenen Prompts, die 800 Testfälle ergaben, hat Lynx eine überlegene Gesichtsähnlichkeit, wettbewerbsfähige Prompt-Befolgung und eine starke Videoqualität demonstriert, wodurch der Stand der personalisierten Videogenerierung vorangetrieben wird.

English

We present Lynx, a high-fidelity model for personalized video synthesis from a single input image. Built on an open-source Diffusion Transformer (DiT) foundation model, Lynx introduces two lightweight adapters to ensure identity fidelity. The ID-adapter employs a Perceiver Resampler to convert ArcFace-derived facial embeddings into compact identity tokens for conditioning, while the Ref-adapter integrates dense VAE features from a frozen reference pathway, injecting fine-grained details across all transformer layers through cross-attention. These modules collectively enable robust identity preservation while maintaining temporal coherence and visual realism. Through evaluation on a curated benchmark of 40 subjects and 20 unbiased prompts, which yielded 800 test cases, Lynx has demonstrated superior face resemblance, competitive prompt following, and strong video quality, thereby advancing the state of personalized video generation.