Токенизатор изображений требует посттренинга

Аннотация

Современные модели генерации изображений обычно захватывают распределение изображений в предварительно построенном латентном пространстве, полагаясь на замороженный токенизатор изображений. Однако существует значительное расхождение между распределениями реконструкции и генерации, где текущие токенизаторы уделяют внимание только задаче реконструкции, которая происходит до обучения генерации, не учитывая ошибки генерации во время сэмплирования. В данной работе мы всесторонне анализируем причину этого расхождения в дискретном латентном пространстве и на основе этого предлагаем новую схему обучения токенизатора, включающую основное обучение и пост-обучение, сфокусированные на улучшении построения латентного пространства и декодирования соответственно. В ходе основного обучения предлагается стратегия латентного возмущения для моделирования шумов сэмплирования, то есть неожиданных токенов, генерируемых в процессе генеративного вывода. В частности, мы предлагаем схему обучения токенизатора по принципу "plug-and-play", которая значительно повышает устойчивость токенизатора, тем самым улучшая качество генерации и скорость сходимости, а также новый метрический показатель для оценки токенизатора, pFID, который успешно связывает производительность токенизатора с качеством генерации. В ходе пост-обучения мы дополнительно оптимизируем декодер токенизатора относительно хорошо обученной генеративной модели, чтобы уменьшить разницу в распределении между сгенерированными и реконструированными токенами. С генератором объемом около 400M параметров, дискретный токенизатор, обученный с использованием нашего основного обучения, достигает заметного показателя 1.60 gFID и дополнительно получает 1.36 gFID с дополнительным пост-обучением. Дополнительные эксперименты проводятся для широкой проверки эффективности нашей стратегии пост-обучения на готовых дискретных и непрерывных токенизаторах, в сочетании с авторегрессивными и диффузионными генераторами.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

Токенизатор изображений требует посттренинга

Image Tokenizer Needs Post-Training

Аннотация

Support