Fairy2i: Training komplexer LLMs aus echten LLMs mit allen Parametern in {±1, ±i}

papers.abstract

Große Sprachmodelle (LLMs) haben die künstliche Intelligenz revolutioniert, doch ihre enormen Speicher- und Rechenanforderungen erfordern eine aggressive Quantisierung, die Darstellungen zunehmend an die theoretische Grenze eines einzelnen Bits heranführt. Während komplexwertige LLMs wie iFairy im Vergleich zu reellwertigen Gegenstücken eine bessere Chance für eine Darstellung mit wenigen Bits bieten, müssen sie von Grund auf trainiert werden, was die Nutzung des riesigen Ökosystems vortrainierter reellwertiger Basismodelle verhindert. Hier präsentieren wir Fairy2i, einen universellen Rahmen, der vortrainierte reellwertige Schichten in eine äquivalente weitgehend-lineare komplexe Form umwandelt und so eine extrem niederbit-Quantisierung bei Wiederverwendung bestehender Checkpoints ermöglicht. Indem wir eine verlustfreie mathematische Äquivalenz zwischen reellen und weitgehend-linearen Abbildungen beweisen, konvertieren wir Standard-Transformer in den komplexen Bereich und wenden ein phasenbewusstes Quantisierungsschema mit einem hocheffizienten Codebook aus vierten Einheitswurzeln an. Darüber hinaus führen wir einen rekursiven residualen Quantisierungsmechanismus ein, der den Quantisierungsfehler iterativ minimiert und einen Inferenzvorgang durch effiziente multiplikationsfreie Akkumulation erlaubt. Wir zeigen, dass Fairy2i die Leistung von LLaMA-2 7B bei einer effektiven 2-Bit-Präzision auf ein Niveau nahezu vergleichbar mit Vollpräzisions-Baselines wiederherstellt und dabei state-of-the-art reellwertige Binär- und Ternärquantisierungsmethoden deutlich übertrifft. Diese Arbeit schließt die Lücke zwischen der Darstellungseffizienz komplexwertiger Arithmetik und dem praktischen Nutzen vortrainierter Modelle und ebnet einen neuen Weg für effiziente Inferenz auf Standardhardware.

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.

Fairy2i: Training komplexer LLMs aus echten LLMs mit allen Parametern in {±1, ±i}

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

papers.abstract

Support