Генерация ярких 2D мультяшных персонажей из текстовых описаний

Textoon: Generating Vivid 2D Cartoon Characters from Text Descriptions

January 17, 2025

Авторы: Chao He, Jianqiang Ren, Liefeng Bo

cs.AI

Аннотация

2D-стиль мультфильма является важной художественной формой в создании цифровых персонажей, особенно популярной среди молодой аудитории. В то время как прогресс в технологии цифровых людей способствовал обширным исследованиям фотореалистичных цифровых людей и трехмерных персонажей, интерактивные 2D мультяшные персонажи получили сравнительно меньше внимания. В отличие от трехмерных аналогов, которые требуют сложного создания и ресурсоемкого рендеринга, Live2D, широко используемый формат для 2D мультяшных персонажей, предлагает более эффективную альтернативу, позволяющую анимировать 2D персонажей таким образом, что имитируется трехмерное движение без необходимости создания полной 3D модели. Более того, Live2D использует легковесный HTML5 (H5) рендеринг, улучшая как доступность, так и эффективность. В данном техническом отчете мы представляем Textoon, инновационный метод генерации разнообразных 2D мультяшных персонажей в формате Live2D на основе текстовых описаний. Textoon использует передовые языковые и видеомодели для понимания текстовых намерений и генерации внешности 2D, способной создавать широкий спектр потрясающих и интерактивных 2D персонажей всего за одну минуту. Домашняя страница проекта: https://human3daigc.github.io/Textoon_webpage/.

English

The 2D cartoon style is a prominent art form in digital character creation, particularly popular among younger audiences. While advancements in digital human technology have spurred extensive research into photorealistic digital humans and 3D characters, interactive 2D cartoon characters have received comparatively less attention. Unlike 3D counterparts, which require sophisticated construction and resource-intensive rendering, Live2D, a widely-used format for 2D cartoon characters, offers a more efficient alternative, which allows to animate 2D characters in a manner that simulates 3D movement without the necessity of building a complete 3D model. Furthermore, Live2D employs lightweight HTML5 (H5) rendering, improving both accessibility and efficiency. In this technical report, we introduce Textoon, an innovative method for generating diverse 2D cartoon characters in the Live2D format based on text descriptions. The Textoon leverages cutting-edge language and vision models to comprehend textual intentions and generate 2D appearance, capable of creating a wide variety of stunning and interactive 2D characters within one minute. The project homepage is https://human3daigc.github.io/Textoon_webpage/.