StrokeNUWA: Токенизация штрихов для синтеза векторной графики
StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis
January 30, 2024
Авторы: Zecheng Tang, Chenfei Wu, Zekai Zhang, Mingheng Ni, Shengming Yin, Yu Liu, Zhengyuan Yang, Lijuan Wang, Zicheng Liu, Juntao Li, Nan Duan
cs.AI
Аннотация
Для использования больших языковых моделей (LLM) в задачах визуального синтеза традиционные методы преобразуют растровую информацию изображений в дискретные токены сетки с помощью специализированных визуальных модулей, что нарушает способность модели улавливать истинное семантическое представление визуальных сцен. В данной работе утверждается, что альтернативное представление изображений — векторная графика — может эффективно преодолеть это ограничение, обеспечивая более естественное и семантически согласованное сегментирование информации изображения. Таким образом, мы представляем StrokeNUWA — новаторскую работу, исследующую более эффективное визуальное представление «токенов штрихов» на основе векторной графики, которое изначально богато визуальной семантикой, естественно совместимо с LLM и обладает высокой степенью сжатия. Оснащенная токенами штрихов, StrokeNUWA значительно превосходит традиционные методы, основанные на LLM и оптимизации, по различным метрикам в задаче генерации векторной графики. Кроме того, StrokeNUWA достигает ускорения вывода до 94 раз по сравнению с предыдущими методами при исключительном коэффициенте сжатия SVG-кода в 6,9%.
English
To leverage LLMs for visual synthesis, traditional methods convert raster
image information into discrete grid tokens through specialized visual modules,
while disrupting the model's ability to capture the true semantic
representation of visual scenes. This paper posits that an alternative
representation of images, vector graphics, can effectively surmount this
limitation by enabling a more natural and semantically coherent segmentation of
the image information. Thus, we introduce StrokeNUWA, a pioneering work
exploring a better visual representation ''stroke tokens'' on vector graphics,
which is inherently visual semantics rich, naturally compatible with LLMs, and
highly compressed. Equipped with stroke tokens, StrokeNUWA can significantly
surpass traditional LLM-based and optimization-based methods across various
metrics in the vector graphic generation task. Besides, StrokeNUWA achieves up
to a 94x speedup in inference over the speed of prior methods with an
exceptional SVG code compression ratio of 6.9%.