Dynamische Typografie: Wörter zum Leben erwecken

Dynamic Typography: Bringing Words to Life

April 17, 2024

Autoren: Zichen Liu, Yihao Meng, Hao Ouyang, Yue Yu, Bolin Zhao, Daniel Cohen-Or, Huamin Qu

cs.AI

Zusammenfassung

Textanimation dient als ausdrucksstarkes Medium, das statische Kommunikation in dynamische Erlebnisse verwandelt, indem es Wörter mit Bewegung durchdringt, um Emotionen hervorzurufen, Bedeutungen zu betonen und überzeugende Erzählungen zu konstruieren. Die Erstellung von Animationen, die semantisch bewusst sind, birgt erhebliche Herausforderungen, die Fachkenntnisse in Grafikdesign und Animation erfordern. Wir stellen ein automatisiertes Textanimationsverfahren vor, das als "Dynamische Typografie" bezeichnet wird und zwei anspruchsvolle Aufgaben kombiniert. Es verformt Buchstaben, um semantische Bedeutungen zu vermitteln, und durchdringt sie mit lebendigen Bewegungen basierend auf Benutzerhinweisen. Unsere Technik nutzt Vektorgrafikdarstellungen und ein optimierungsbasiertes End-to-End-Framework. Dieses Framework verwendet neuronale Verschiebungsfelder, um Buchstaben in Grundformen umzuwandeln und wendet pro Frame Bewegungen an, die die Kohärenz mit dem beabsichtigten Textkonzept fördern. Techniken zur Formbewahrung und Regularisierung des perzeptuellen Verlusts werden eingesetzt, um Lesbarkeit und strukturelle Integrität während des Animationsprozesses aufrechtzuerhalten. Wir zeigen die Verallgemeinerbarkeit unseres Ansatzes über verschiedene Text-zu-Video-Modelle hinweg und heben die Überlegenheit unserer End-to-End-Methodik gegenüber Basisverfahren hervor, die separate Aufgaben umfassen könnten. Durch quantitative und qualitative Bewertungen zeigen wir die Wirksamkeit unseres Frameworks bei der Erzeugung kohärenter Textanimationen, die Benutzerhinweise treu interpretieren und gleichzeitig die Lesbarkeit bewahren. Unser Code ist verfügbar unter: https://animate-your-word.github.io/demo/.

English

Text animation serves as an expressive medium, transforming static communication into dynamic experiences by infusing words with motion to evoke emotions, emphasize meanings, and construct compelling narratives. Crafting animations that are semantically aware poses significant challenges, demanding expertise in graphic design and animation. We present an automated text animation scheme, termed "Dynamic Typography", which combines two challenging tasks. It deforms letters to convey semantic meaning and infuses them with vibrant movements based on user prompts. Our technique harnesses vector graphics representations and an end-to-end optimization-based framework. This framework employs neural displacement fields to convert letters into base shapes and applies per-frame motion, encouraging coherence with the intended textual concept. Shape preservation techniques and perceptual loss regularization are employed to maintain legibility and structural integrity throughout the animation process. We demonstrate the generalizability of our approach across various text-to-video models and highlight the superiority of our end-to-end methodology over baseline methods, which might comprise separate tasks. Through quantitative and qualitative evaluations, we demonstrate the effectiveness of our framework in generating coherent text animations that faithfully interpret user prompts while maintaining readability. Our code is available at: https://animate-your-word.github.io/demo/.