Бесконечность: Масштабирование побитового авторегрессионного моделирования для синтеза изображений высокого разрешения

Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis

December 5, 2024

Авторы: Jian Han, Jinlai Liu, Yi Jiang, Bin Yan, Yuqi Zhang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Аннотация

Мы представляем Infinity, побитовую визуальную авторегрессионную модель, способную генерировать изображения высокого разрешения с фотореалистичным качеством в соответствии с языковым инструктажем. Infinity переопределяет модель визуальной авторегрессии в рамках битового прогнозирования токенов с использованием токенизатора и классификатора с бесконечным словарем и механизмом битовой самокоррекции, что значительно улучшает емкость и детализацию генерации. Путем теоретического масштабирования размера словаря токенизатора к бесконечности и параллельного масштабирования размера трансформера наш метод значительно раскрывает мощные возможности масштабирования по сравнению с обычной VAR. Infinity устанавливает новый рекорд для моделей текст-в-изображение с авторегрессией, превосходя лучшие модели диффузии, такие как SD3-Medium и SDXL. Заметно, что Infinity превосходит SD3-Medium, улучшая показатель бенчмарка GenEval с 0.62 до 0.73 и показатель бенчмарка ImageReward с 0.87 до 0.96, достигая победный результат в 66%. Без дополнительной оптимизации Infinity генерирует изображение размером 1024x1024 пикселя за 0.8 секунды, что в 2.6 раза быстрее, чем SD3-Medium, и утверждает себя как самая быстрая модель текст-в-изображение. Модели и коды будут опубликованы для поощрения дальнейшего исследования Infinity в области визуальной генерации и унифицированного моделирования токенизатора.

English

We present Infinity, a Bitwise Visual AutoRegressive Modeling capable of generating high-resolution, photorealistic images following language instruction. Infinity redefines visual autoregressive model under a bitwise token prediction framework with an infinite-vocabulary tokenizer & classifier and bitwise self-correction mechanism, remarkably improving the generation capacity and details. By theoretically scaling the tokenizer vocabulary size to infinity and concurrently scaling the transformer size, our method significantly unleashes powerful scaling capabilities compared to vanilla VAR. Infinity sets a new record for autoregressive text-to-image models, outperforming top-tier diffusion models like SD3-Medium and SDXL. Notably, Infinity surpasses SD3-Medium by improving the GenEval benchmark score from 0.62 to 0.73 and the ImageReward benchmark score from 0.87 to 0.96, achieving a win rate of 66%. Without extra optimization, Infinity generates a high-quality 1024x1024 image in 0.8 seconds, making it 2.6x faster than SD3-Medium and establishing it as the fastest text-to-image model. Models and codes will be released to promote further exploration of Infinity for visual generation and unified tokenizer modeling.