Fairy2i : Entraînement de LLM complexes à partir de LLM réels avec tous les paramètres dans {±1, ±i}

papers.abstract

Les grands modèles de langage (LLM) ont révolutionné l'intelligence artificielle, mais leurs exigences massives en mémoire et en calcul nécessitent une quantification agressive, poussant de plus en plus les représentations vers la limite théorique d'un seul bit. Bien que les LLM à valeurs complexes, tels qu'iFairy, offrent une opportunité supérieure de représentation en faible précision par rapport à leurs homologues à valeurs réelles, ils nécessitent un entraînement à partir de zéro, empêchant l'utilisation du vaste écosystème de modèles de base pré-entraînés à valeurs réelles. Nous présentons ici Fairy2i, un cadre universel qui transforme les couches pré-entraînées à valeurs réelles en une forme complexe à large linéarité équivalente, permettant une quantification en très faible précision tout en réutilisant les points de contrôle existants. En prouvant une équivalence mathématique sans perte entre les applications réelles et largement linéaires, nous convertissons les Transformers standard dans le domaine complexe et utilisons un schéma de quantification sensible à la phase avec un codebook hautement efficace des racines quatrièmes de l'unité. De plus, nous introduisons un mécanisme de quantification résiduelle récursive qui minimise itérativement l'erreur de quantification, permettant à l'inférence de procéder via une accumulation efficace sans multiplication. Nous démontrons que Fairy2i restaure les performances de LLaMA-2 7B à une précision effective de 2 bits à des niveaux presque comparables aux lignes de base en pleine précision, surpassant significativement les méthodes de quantification binaire et ternaire à valeurs réelles de pointe. Ce travail comble le fossé entre l'efficacité représentationnelle de l'arithmétique complexe et l'utilité pratique des modèles pré-entraînés, ouvrant une nouvelle voie pour l'inférence efficace sur du matériel grand public.

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.

Fairy2i : Entraînement de LLM complexes à partir de LLM réels avec tous les paramètres dans {±1, ±i}

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

papers.abstract

Support