StrokeNUWA: Tokeniseren van Streken voor Vectorafbeelding Synthese
StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis
January 30, 2024
Auteurs: Zecheng Tang, Chenfei Wu, Zekai Zhang, Mingheng Ni, Shengming Yin, Yu Liu, Zhengyuan Yang, Lijuan Wang, Zicheng Liu, Juntao Li, Nan Duan
cs.AI
Samenvatting
Om LLM's te benutten voor visuele synthese, zetten traditionele methoden rasterbeeldinformatie om in discrete grid-tokens via gespecialiseerde visuele modules, wat het vermogen van het model om de ware semantische representatie van visuele scènes vast te leggen verstoort. Dit artikel stelt dat een alternatieve representatie van afbeeldingen, vectorafbeeldingen, deze beperking effectief kan overwinnen door een meer natuurlijke en semantisch samenhangende segmentatie van de beeldinformatie mogelijk te maken. Daarom introduceren we StrokeNUWA, een baanbrekend werk dat een betere visuele representatie onderzoekt, namelijk 'stroke-tokens' op vectorafbeeldingen, die inherent rijk zijn aan visuele semantiek, natuurlijk compatibel zijn met LLM's en sterk gecomprimeerd. Uitgerust met stroke-tokens kan StrokeNUWA traditionele op LLM's gebaseerde en optimalisatie-gebaseerde methoden aanzienlijk overtreffen op verschillende metrieken in de taak van vectorafbeeldinggeneratie. Bovendien bereikt StrokeNUWA een versnelling in inferentie tot 94x ten opzichte van de snelheid van eerdere methoden, met een uitzonderlijke SVG-codecompressieratio van 6,9%.
English
To leverage LLMs for visual synthesis, traditional methods convert raster
image information into discrete grid tokens through specialized visual modules,
while disrupting the model's ability to capture the true semantic
representation of visual scenes. This paper posits that an alternative
representation of images, vector graphics, can effectively surmount this
limitation by enabling a more natural and semantically coherent segmentation of
the image information. Thus, we introduce StrokeNUWA, a pioneering work
exploring a better visual representation ''stroke tokens'' on vector graphics,
which is inherently visual semantics rich, naturally compatible with LLMs, and
highly compressed. Equipped with stroke tokens, StrokeNUWA can significantly
surpass traditional LLM-based and optimization-based methods across various
metrics in the vector graphic generation task. Besides, StrokeNUWA achieves up
to a 94x speedup in inference over the speed of prior methods with an
exceptional SVG code compression ratio of 6.9%.