Democratizando los Modelos Generativos de Máscaras de Texto a Imagen con Tokens Unidimensionales Compactos Conscientes del Texto.

Democratizing Text-to-Image Masked Generative Models with Compact Text-Aware One-Dimensional Tokens

January 13, 2025

Autores: Dongwon Kim, Ju He, Qihang Yu, Chenglin Yang, Xiaohui Shen, Suha Kwak, Liang-Chieh Chen

cs.AI

Resumen

Los tokenizadores de imágenes constituyen la base de los modelos generativos modernos de texto a imagen, pero son notoriamente difíciles de entrenar. Además, la mayoría de los modelos existentes de texto a imagen dependen de conjuntos de datos privados a gran escala y de alta calidad, lo que los hace difíciles de replicar. En este trabajo, presentamos Text-Aware Transformer-based 1-Dimensional Tokenizer (TA-TiTok), un tokenizador de imágenes eficiente y potente que puede utilizar tokens discretos o continuos unidimensionales. TA-TiTok integra de manera única información textual durante la etapa de decodificación del tokenizador (es decir, detokenización), acelerando la convergencia y mejorando el rendimiento. TA-TiTok también se beneficia de un proceso de entrenamiento simplificado pero efectivo de una sola etapa, eliminando la necesidad de la compleja destilación de dos etapas utilizada en tokenizadores unidimensionales anteriores. Este diseño permite una escalabilidad fluida a conjuntos de datos grandes. Basándonos en esto, presentamos una familia de Modelos Generativos Enmascarados de Texto a Imagen (MaskGen), entrenados exclusivamente con datos abiertos mientras logran un rendimiento comparable a los modelos entrenados con datos privados. Nuestro objetivo es lanzar tanto los tokenizadores TA-TiTok eficientes y sólidos como los modelos MaskGen de datos abiertos y pesos abiertos para promover un acceso más amplio y democratizar el campo de los modelos generativos enmascarados de texto a imagen.

English

Image tokenizers form the foundation of modern text-to-image generative models but are notoriously difficult to train. Furthermore, most existing text-to-image models rely on large-scale, high-quality private datasets, making them challenging to replicate. In this work, we introduce Text-Aware Transformer-based 1-Dimensional Tokenizer (TA-TiTok), an efficient and powerful image tokenizer that can utilize either discrete or continuous 1-dimensional tokens. TA-TiTok uniquely integrates textual information during the tokenizer decoding stage (i.e., de-tokenization), accelerating convergence and enhancing performance. TA-TiTok also benefits from a simplified, yet effective, one-stage training process, eliminating the need for the complex two-stage distillation used in previous 1-dimensional tokenizers. This design allows for seamless scalability to large datasets. Building on this, we introduce a family of text-to-image Masked Generative Models (MaskGen), trained exclusively on open data while achieving comparable performance to models trained on private data. We aim to release both the efficient, strong TA-TiTok tokenizers and the open-data, open-weight MaskGen models to promote broader access and democratize the field of text-to-image masked generative models.