Fairy2i: Addestramento di LLM Complessi a Partire da LLM Reali con Tutti i Parametri in {±1, ±i}

Abstract

I grandi modelli linguistici (LLM) hanno rivoluzionato l'intelligenza artificiale, ma le loro enormi richieste di memoria e computazione rendono necessaria una quantizzazione aggressiva, spingendo sempre più le rappresentazioni verso il limite teorico del singolo bit. Sebbene i modelli linguistici a valori complessi, come iFairy, offrano una possibilità superiore di rappresentazione a basso numero di bit rispetto alle controparti a valori reali, richiedono un addestramento da zero, impedendo l'utilizzo del vasto ecosistema di modelli fondazione pre-addestrati a valori reali. Qui presentiamo Fairy2i, un framework universale che trasforma strati pre-addestrati a valori reali in una forma complessa a linearità ampia equivalente, consentendo una quantizzazione a numero di bit estremamente basso riutilizzando i checkpoint esistenti. Dimostrando un'equivalenza matematica senza perdite tra mappe reali e a linearità ampia, convertiamo i Transformer standard nel dominio complesso e impieghiamo uno schema di quantizzazione consapevole della fase con un codebook altamente efficiente delle radici quarte dell'unità. Inoltre, introduciamo un meccanismo di quantizzazione residua ricorsiva che minimizza iterativamente l'errore di quantizzazione, consentendo all'inferenza di procedere tramite un'accumulazione efficiente senza moltiplicazioni. Dimostriamo che Fairy2i ripristina le prestazioni di LLaMA-2 7B a una precisione effettiva di 2 bit a livelli quasi paragonabili ai baseline in precisione completa, superando significativamente i metodi di quantizzazione binaria e ternaria a valori reali all'avanguardia. Questo lavoro colma il divario tra l'efficienza rappresentativa dell'aritmetica a valori complessi e l'utilità pratica dei modelli pre-addestrati, aprendo una nuova strada per l'inferenza efficiente su hardware comune.

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.

Fairy2i: Addestramento di LLM Complessi a Partire da LLM Reali con Tutti i Parametri in {±1, ±i}

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

Abstract

Support