StrokeNUWA: Tokenização de Traços para Síntese de Gráficos Vetoriais
StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis
January 30, 2024
Autores: Zecheng Tang, Chenfei Wu, Zekai Zhang, Mingheng Ni, Shengming Yin, Yu Liu, Zhengyuan Yang, Lijuan Wang, Zicheng Liu, Juntao Li, Nan Duan
cs.AI
Resumo
Para aproveitar os LLMs (Modelos de Linguagem de Grande Escala) na síntese visual, os métodos tradicionais convertem informações de imagens raster em tokens de grade discretos por meio de módulos visuais especializados, ao mesmo tempo que prejudicam a capacidade do modelo de capturar a verdadeira representação semântica das cenas visuais. Este artigo propõe que uma representação alternativa de imagens, os gráficos vetoriais, pode superar efetivamente essa limitação, permitindo uma segmentação mais natural e semanticamente coerente das informações da imagem. Assim, apresentamos o StrokeNUWA, um trabalho pioneiro que explora uma melhor representação visual chamada "tokens de traço" em gráficos vetoriais, que é intrinsecamente rica em semântica visual, naturalmente compatível com LLMs e altamente compactada. Equipado com tokens de traço, o StrokeNUWA pode superar significativamente os métodos tradicionais baseados em LLMs e em otimização em várias métricas na tarefa de geração de gráficos vetoriais. Além disso, o StrokeNUWA alcança uma aceleração de até 94x na inferência em comparação com a velocidade dos métodos anteriores, com uma taxa excepcional de compressão de código SVG de 6,9%.
English
To leverage LLMs for visual synthesis, traditional methods convert raster
image information into discrete grid tokens through specialized visual modules,
while disrupting the model's ability to capture the true semantic
representation of visual scenes. This paper posits that an alternative
representation of images, vector graphics, can effectively surmount this
limitation by enabling a more natural and semantically coherent segmentation of
the image information. Thus, we introduce StrokeNUWA, a pioneering work
exploring a better visual representation ''stroke tokens'' on vector graphics,
which is inherently visual semantics rich, naturally compatible with LLMs, and
highly compressed. Equipped with stroke tokens, StrokeNUWA can significantly
surpass traditional LLM-based and optimization-based methods across various
metrics in the vector graphic generation task. Besides, StrokeNUWA achieves up
to a 94x speedup in inference over the speed of prior methods with an
exceptional SVG code compression ratio of 6.9%.