FLUX de 1,58 bits

1.58-bit FLUX

December 24, 2024

Autores: Chenglin Yang, Celong Liu, Xueqing Deng, Dongwon Kim, Xing Mei, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumen

Presentamos FLUX de 1,58 bits, el primer enfoque exitoso para cuantificar el modelo de generación de texto a imagen de última generación, FLUX.1-dev, utilizando pesos de 1,58 bits (es decir, valores en {-1, 0, +1}) manteniendo un rendimiento comparable para generar imágenes de 1024 x 1024. Es destacable que nuestro método de cuantificación opera sin acceso a datos de imagen, dependiendo únicamente de la auto-supervisión del modelo FLUX.1-dev. Además, desarrollamos un kernel personalizado optimizado para operaciones de 1,58 bits, logrando una reducción de 7,7 veces en el almacenamiento del modelo, una reducción de 5,1 veces en la memoria de inferencia y una mejora en la latencia de inferencia. Evaluaciones exhaustivas en los benchmarks GenEval y T2I Compbench demuestran la efectividad de FLUX de 1,58 bits en mantener la calidad de generación mientras mejora significativamente la eficiencia computacional.

English

We present 1.58-bit FLUX, the first successful approach to quantizing the state-of-the-art text-to-image generation model, FLUX.1-dev, using 1.58-bit weights (i.e., values in {-1, 0, +1}) while maintaining comparable performance for generating 1024 x 1024 images. Notably, our quantization method operates without access to image data, relying solely on self-supervision from the FLUX.1-dev model. Additionally, we develop a custom kernel optimized for 1.58-bit operations, achieving a 7.7x reduction in model storage, a 5.1x reduction in inference memory, and improved inference latency. Extensive evaluations on the GenEval and T2I Compbench benchmarks demonstrate the effectiveness of 1.58-bit FLUX in maintaining generation quality while significantly enhancing computational efficiency.