Génération de personnages de dessins animés 2D saisissants à partir de descriptions textuelles

Textoon: Generating Vivid 2D Cartoon Characters from Text Descriptions

January 17, 2025

Auteurs: Chao He, Jianqiang Ren, Liefeng Bo

cs.AI

Résumé

Le style de dessin animé en 2D est une forme d'art prédominante dans la création de personnages numériques, particulièrement populaire auprès des jeunes publics. Alors que les avancées dans la technologie numérique humaine ont suscité une recherche approfondie sur les humains numériques photoréalistes et les personnages en 3D, les personnages de dessins animés interactifs en 2D ont reçu comparativement moins d'attention. Contrairement à leurs homologues en 3D, qui nécessitent une construction sophistiquée et un rendu intensif en ressources, Live2D, un format largement utilisé pour les personnages de dessins animés en 2D, offre une alternative plus efficace, permettant d'animer des personnages en 2D de manière à simuler un mouvement en 3D sans la nécessité de construire un modèle 3D complet. De plus, Live2D utilise un rendu HTML5 (H5) léger, améliorant à la fois l'accessibilité et l'efficacité. Dans ce rapport technique, nous présentons Textoon, une méthode innovante pour générer divers personnages de dessins animés en 2D dans le format Live2D basée sur des descriptions textuelles. Le Textoon exploite des modèles linguistiques et de vision de pointe pour comprendre les intentions textuelles et générer une apparence en 2D, capable de créer une grande variété de personnages de dessins animés interactifs et époustouflants en 2D en une minute. La page d'accueil du projet est https://human3daigc.github.io/Textoon_webpage/.

English

The 2D cartoon style is a prominent art form in digital character creation, particularly popular among younger audiences. While advancements in digital human technology have spurred extensive research into photorealistic digital humans and 3D characters, interactive 2D cartoon characters have received comparatively less attention. Unlike 3D counterparts, which require sophisticated construction and resource-intensive rendering, Live2D, a widely-used format for 2D cartoon characters, offers a more efficient alternative, which allows to animate 2D characters in a manner that simulates 3D movement without the necessity of building a complete 3D model. Furthermore, Live2D employs lightweight HTML5 (H5) rendering, improving both accessibility and efficiency. In this technical report, we introduce Textoon, an innovative method for generating diverse 2D cartoon characters in the Live2D format based on text descriptions. The Textoon leverages cutting-edge language and vision models to comprehend textual intentions and generate 2D appearance, capable of creating a wide variety of stunning and interactive 2D characters within one minute. The project homepage is https://human3daigc.github.io/Textoon_webpage/.