Fairy2i: Обучение сложных больших языковых моделей на основе реальных больших языковых моделей со всеми параметрами в {±1, ±i}

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

December 2, 2025

Авторы: Feiyu Wang, Xinyu Tan, Bokai Huang, Yihao Zhang, Guoan Wang, Peizhuang Cong, Tong Yang

cs.AI

Аннотация

Крупные языковые модели (LLM) произвели революцию в области искусственного интеллекта, однако их колоссальные требования к памяти и вычислительным ресурсам делают необходимым применение агрессивного квантования, всё чаще приближая представления данных к теоретическому пределу в один бит. Хотя комплекснозначные LLM, такие как iFairy, предоставляют больше возможностей для низкобитового представления по сравнению с вещественнозначными аналогами, они требуют обучения с нуля, что исключает использование обширной экосистемы предварительно обученных вещественнозначных базовых моделей. В данной статье мы представляем Fairy2i — универсальную структуру, которая преобразует предварительно обученные вещественнозначные слои в эквивалентную широко-линейную комплексную форму, позволяя осуществлять сверхнизкобитовое квантование с повторным использованием существующих контрольных точек. Доказав математическую эквивалентность без потерь между вещественными и широко-линейными отображениями, мы преобразуем стандартные трансформеры в комплексную область и применяем фазо-зависимую схему квантования с высокоэффективной кодбуком из корней четвертой степени из единицы. Кроме того, мы вводим механизм рекурсивного остаточного квантования, который итеративно минимизирует ошибку квантования, позволяя проводить вывод посредством эффективного накопления без операций умножения. Мы демонстрируем, что Fairy2i восстанавливает производительность модели LLaMA-2 7B при эффективной 2-битной точности до уровней, почти сопоставимых с полноточными базовыми уровнями, значительно превосходя современные методы бинарного и тернарного квантования для вещественнозначных моделей. Данная работа устраняет разрыв между эффективностью представления комплекснозначной арифметики и практической полезностью предварительно обученных моделей, прокладывая новый путь для эффективного вывода на стандартном оборудовании.

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.