SimpleAR: De Grens Verleggen van Autoregressieve Visuele Generatie door middel van Pretraining, SFT en RL

SimpleAR: Pushing the Frontier of Autoregressive Visual Generation through Pretraining, SFT, and RL

April 15, 2025

Auteurs: Junke Wang, Zhi Tian, Xun Wang, Xinyu Zhang, Weilin Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Samenvatting

Dit werk presenteert SimpleAR, een standaard autoregressief raamwerk voor visuele generatie zonder complexe architectuurwijzigingen. Door zorgvuldige exploratie van trainings- en inferentieoptimalisatie tonen we aan dat: 1) met slechts 0,5B parameters ons model afbeeldingen met een resolutie van 1024x1024 kan genereren met hoge kwaliteit, en competitieve resultaten behaalt op uitdagende tekst-naar-afbeelding benchmarks, bijvoorbeeld 0,59 op GenEval en 79,66 op DPG; 2) zowel supervised fine-tuning (SFT) als Group Relative Policy Optimization (GRPO) training kunnen leiden tot significante verbeteringen in generatie-esthetiek en promptafstemming; en 3) wanneer geoptimaliseerd met inferentieversnellings-technieken zoals vLLM, kan de tijd die SimpleAR nodig heeft om een 1024x1024 afbeelding te genereren worden teruggebracht tot ongeveer 14 seconden. Door deze bevindingen te delen en de code openbaar te maken, hopen we het potentieel van autoregressieve visuele generatie te onthullen en meer deelname aan dit onderzoeksveld te stimuleren. De code is beschikbaar op https://github.com/wdrink/SimpleAR.

English

This work presents SimpleAR, a vanilla autoregressive visual generation framework without complex architecure modifications. Through careful exploration of training and inference optimization, we demonstrate that: 1) with only 0.5B parameters, our model can generate 1024x1024 resolution images with high fidelity, and achieve competitive results on challenging text-to-image benchmarks, e.g., 0.59 on GenEval and 79.66 on DPG; 2) both supervised fine-tuning (SFT) and Group Relative Policy Optimization (GRPO) training could lead to significant improvements on generation aesthectics and prompt alignment; and 3) when optimized with inference acceleraton techniques like vLLM, the time for SimpleAR to generate an 1024x1024 image could be reduced to around 14 seconds. By sharing these findings and open-sourcing the code, we hope to reveal the potential of autoregressive visual generation and encourage more participation in this research field. Code is available at https://github.com/wdrink/SimpleAR.