Fluide : Mise à l'échelle des modèles génératifs texte-image autorégressifs avec des jetons continus

Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens

October 17, 2024

Auteurs: Lijie Fan, Tianhong Li, Siyang Qin, Yuanzhen Li, Chen Sun, Michael Rubinstein, Deqing Sun, Kaiming He, Yonglong Tian

cs.AI

Résumé

Le passage à l'échelle des modèles autorégressifs en vision n'a pas été aussi bénéfique que dans les grands modèles de langage. Dans ce travail, nous examinons ce problème d'échelle dans le contexte de la génération texte-image, en nous concentrant sur deux facteurs critiques : si les modèles utilisent des jetons discrets ou continus, et si les jetons sont générés dans un ordre de trame aléatoire ou fixe en utilisant des architectures de transformer de type BERT ou GPT. Nos résultats empiriques montrent que, bien que tous les modèles évoluent efficacement en termes de perte de validation, leurs performances d'évaluation - mesurées par FID, le score GenEval et la qualité visuelle - suivent des tendances différentes. Les modèles basés sur des jetons continus obtiennent une qualité visuelle nettement meilleure que ceux utilisant des jetons discrets. De plus, l'ordre de génération et les mécanismes d'attention affectent significativement le score GenEval : les modèles à ordre aléatoire obtiennent des scores GenEval nettement meilleurs par rapport aux modèles à ordre de trame. Inspirés par ces découvertes, nous entraînons Fluid, un modèle autorégressif à ordre aléatoire sur des jetons continus. Le modèle Fluid 10.5B atteint un nouveau FID de pointe en zéro-shot de 6.16 sur MS-COCO 30K, et un score global de 0.69 sur le banc d'essai GenEval. Nous espérons que nos découvertes et résultats encourageront les efforts futurs pour combler davantage l'écart d'échelle entre les modèles de vision et de langage.

English

Scaling up autoregressive models in vision has not proven as beneficial as in large language models. In this work, we investigate this scaling problem in the context of text-to-image generation, focusing on two critical factors: whether models use discrete or continuous tokens, and whether tokens are generated in a random or fixed raster order using BERT- or GPT-like transformer architectures. Our empirical results show that, while all models scale effectively in terms of validation loss, their evaluation performance -- measured by FID, GenEval score, and visual quality -- follows different trends. Models based on continuous tokens achieve significantly better visual quality than those using discrete tokens. Furthermore, the generation order and attention mechanisms significantly affect the GenEval score: random-order models achieve notably better GenEval scores compared to raster-order models. Inspired by these findings, we train Fluid, a random-order autoregressive model on continuous tokens. Fluid 10.5B model achieves a new state-of-the-art zero-shot FID of 6.16 on MS-COCO 30K, and 0.69 overall score on the GenEval benchmark. We hope our findings and results will encourage future efforts to further bridge the scaling gap between vision and language models.