Искусственное запутывание при тонкой настройке больших языковых моделей

Artificial Entanglement in the Fine-Tuning of Large Language Models

January 11, 2026

Авторы: Min Chen, Zihan Wang, Canyu Chen, Zeguan Wu, Manling Li, Junyu Liu

cs.AI

Аннотация

Крупные языковые модели (LLM) могут быть адаптированы к новым задачам с помощью методов параметрически-эффективного тонкого настройки (PEFT), которые модифицируют лишь небольшое число обучаемых параметров, часто с помощью низкоранговых обновлений. В данной работе мы применяем подход, вдохновленный квантовой информатикой, чтобы понять их эффективность. С этой точки зрения, низкоранговые параметризации естественным образом соответствуют низкоразмерным представлениям матричных продуктовых состояний (MPS), которые позволяют проводить характеризацию структуры параметров на основе запутанности. Таким образом, мы вводим и измеряем понятие «искусственной запутанности», определяемой как энтропия запутанности параметров в искусственных нейронных сетях (в частности, в LLM). Мы сначала исследуем репрезентативный метод PEFT — низкоранговую адаптацию (LoRA), вместе с полной тонкой настройкой (FFT), используя модели LLaMA масштабов 1B и 8B, обученные на наборах данных Tulu3 и OpenThoughts3, и обнаруживаем: (i) Внутренняя искусственная запутанность в обновлениях матриц проекций запроса и значения в LoRA подчиняется объемному закону с центральным подавлением (названным «Долиной Запутанности»), который чувствителен к гиперпараметрам и отличается от такового в FFT; (ii) Внешняя искусственная запутанность в матрицах внимания, соответствующая корреляциям «токен-токен» в пространстве представлений, подчиняется площадному закону с логарифмическими поправками и остается устойчивой к гиперпараметрам LoRA и шагам обучения. Проводя параллель с теоремой об отсутствии волос у черной дыры в физике, мы предполагаем, что хотя LoRA и FFT порождают различные сигнатуры внутренней запутанности, такие различия не проявляются в выходных данных внимания, что указывает на свойство «отсутствия волос», которое приводит к эффективности низкоранговых обновлений. Мы также предоставляем теоретическое обоснование, основанное на теории случайных матриц, и расширяем наш анализ на метод PEFT — Адаптацию MPS, который демонстрирует качественно схожее поведение.

English

Large language models (LLMs) can be adapted to new tasks using parameter-efficient fine-tuning (PEFT) methods that modify only a small number of trainable parameters, often through low-rank updates. In this work, we adopt a quantum-information-inspired perspective to understand their effectiveness. From this perspective, low-rank parameterizations naturally correspond to low-dimensional Matrix Product States (MPS) representations, which enable entanglement-based characterizations of parameter structure. Thereby, we term and measure "Artificial Entanglement", defined as the entanglement entropy of the parameters in artificial neural networks (in particular the LLMs). We first study the representative low-rank adaptation (LoRA) PEFT method, alongside full fine-tuning (FFT), using LLaMA models at the 1B and 8B scales trained on the Tulu3 and OpenThoughts3 datasets, and uncover: (i) Internal artificial entanglement in the updates of query and value projection matrices in LoRA follows a volume law with a central suppression (termed as the "Entanglement Valley"), which is sensitive to hyper-parameters and is distinct from that in FFT; (ii) External artificial entanglement in attention matrices, corresponding to token-token correlations in representation space, follows an area law with logarithmic corrections and remains robust to LoRA hyper-parameters and training steps. Drawing a parallel to the No-Hair Theorem in black hole physics, we propose that although LoRA and FFT induce distinct internal entanglement signatures, such differences do not manifest in the attention outputs, suggesting a "no-hair" property that results in the effectiveness of low rank updates. We further provide theoretical support based on random matrix theory, and extend our analysis to an MPS Adaptation PEFT method, which exhibits qualitatively similar behaviors.