Typographie Dynamique : Donner Vie aux Mots

Dynamic Typography: Bringing Words to Life

April 17, 2024

Auteurs: Zichen Liu, Yihao Meng, Hao Ouyang, Yue Yu, Bolin Zhao, Daniel Cohen-Or, Huamin Qu

cs.AI

Résumé

L'animation de texte constitue un médium expressif, transformant la communication statique en expériences dynamiques en insufflant du mouvement aux mots pour susciter des émotions, accentuer les significations et construire des récits captivants. La création d'animations sémantiquement conscientes présente des défis importants, nécessitant une expertise en design graphique et en animation. Nous présentons un schéma automatisé d'animation de texte, intitulé "Typographie Dynamique", qui combine deux tâches complexes. Il déforme les lettres pour transmettre une signification sémantique et les anime avec des mouvements vibrants basés sur les indications de l'utilisateur. Notre technique exploite des représentations graphiques vectorielles et un cadre d'optimisation de bout en bout. Ce cadre utilise des champs de déplacement neuronaux pour convertir les lettres en formes de base et applique un mouvement par image, favorisant la cohérence avec le concept textuel visé. Des techniques de préservation de la forme et une régularisation par perte perceptuelle sont employées pour maintenir la lisibilité et l'intégrité structurelle tout au long du processus d'animation. Nous démontrons la généralisabilité de notre approche à travers divers modèles texte-à-vidéo et mettons en avant la supériorité de notre méthodologie de bout en bout par rapport aux méthodes de base, qui pourraient comporter des tâches séparées. Grâce à des évaluations quantitatives et qualitatives, nous montrons l'efficacité de notre cadre dans la génération d'animations de texte cohérentes qui interprètent fidèlement les indications de l'utilisateur tout en préservant la lisibilité. Notre code est disponible à l'adresse : https://animate-your-word.github.io/demo/.

English

Text animation serves as an expressive medium, transforming static communication into dynamic experiences by infusing words with motion to evoke emotions, emphasize meanings, and construct compelling narratives. Crafting animations that are semantically aware poses significant challenges, demanding expertise in graphic design and animation. We present an automated text animation scheme, termed "Dynamic Typography", which combines two challenging tasks. It deforms letters to convey semantic meaning and infuses them with vibrant movements based on user prompts. Our technique harnesses vector graphics representations and an end-to-end optimization-based framework. This framework employs neural displacement fields to convert letters into base shapes and applies per-frame motion, encouraging coherence with the intended textual concept. Shape preservation techniques and perceptual loss regularization are employed to maintain legibility and structural integrity throughout the animation process. We demonstrate the generalizability of our approach across various text-to-video models and highlight the superiority of our end-to-end methodology over baseline methods, which might comprise separate tasks. Through quantitative and qualitative evaluations, we demonstrate the effectiveness of our framework in generating coherent text animations that faithfully interpret user prompts while maintaining readability. Our code is available at: https://animate-your-word.github.io/demo/.