Fairy2i: Entrenamiento de LLM Complejos a partir de LLM Reales con Todos los Parámetros en {±1, ±i}

Resumen

Los grandes modelos de lenguaje (LLM) han revolucionado la inteligencia artificial, pero sus enormes demandas de memoria y computación requieren una cuantificación agresiva, llevando cada vez más las representaciones hacia el límite teórico de un solo bit. Si bien los LLM de valor complejo, como iFairy, ofrecen una oportunidad superior para la representación de bajo bit en comparación con sus contrapartes de valor real, requieren entrenamiento desde cero, lo que impide utilizar el vasto ecosistema de modelos base preentrenados de valor real. Aquí presentamos Fairy2i, un marco universal que transforma capas preentrenadas de valor real en una forma compleja ampliamente lineal equivalente, permitiendo una cuantificación de bits extremadamente baja mientras se reutilizan los *checkpoints* existentes. Al demostrar una equivalencia matemática sin pérdidas entre los mapas reales y los ampliamente lineales, convertimos los Transformers estándar al dominio complejo y empleamos un esquema de cuantificación consciente de la fase con un libro de códigos altamente eficiente de las raíces cuartas de la unidad. Además, introducimos un mecanismo de cuantificación residual recursiva que minimiza iterativamente el error de cuantificación, permitiendo que la inferencia proceda mediante una acumulación eficiente libre de multiplicaciones. Demostramos que Fairy2i restaura el rendimiento de LLaMA-2 7B con una precisión efectiva de 2 bits a niveles casi comparables con los baselines de precisión completa, superando significativamente a los métodos state-of-the-art de cuantificación binaria y ternaria de valor real. Este trabajo cierra la brecha entre la eficiencia representacional de la aritmética de valor complejo y la utilidad práctica de los modelos preentrenados, abriendo un nuevo camino para la inferencia eficiente en hardware comercial.

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.

Fairy2i: Entrenamiento de LLM Complejos a partir de LLM Reales con Todos los Parámetros en {±1, ±i}

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

Resumen

Support