Трансформер скрытых потоков

Latent Flow Transformer

May 20, 2025

Авторы: Yen-Chen Wu, Feng-Ting Liao, Meng-Hsi Chen, Pei-Chen Ho, Farhang Nabiei, Da-shan Shiu

cs.AI

Аннотация

Трансформеры, стандартная реализация для больших языковых моделей (LLM), обычно состоят из десятков или сотен дискретных слоев. Хотя большее количество слоев может привести к лучшей производительности, этот подход подвергается сомнению как далекий от эффективности, особенно учитывая превосходство непрерывных слоев, продемонстрированное диффузионными и потоковыми моделями для генерации изображений. Мы предлагаем Latent Flow Transformer (LFT), который заменяет блок слоев на один обученный транспортный оператор, обученный с помощью метода согласования потоков, что обеспечивает значительное сжатие при сохранении совместимости с исходной архитектурой. Кроме того, мы устраняем ограничения существующих потоковых методов в сохранении связности, вводя алгоритм Flow Walking (FW). На модели Pythia-410M LFT, обученный с согласованием потоков, сжимает 6 из 24 слоев и превосходит прямое пропускание 2 слоев (KL-дивергенция лог-вероятностей модели 0.407 против 0.529), демонстрируя осуществимость этого подхода. При обучении с использованием FW LFT дополнительно дистиллирует 12 слоев в один, снижая KL до 0.736, что превосходит результат пропускания 3 слоев (0.932), значительно сокращая разрыв между авторегрессивными и потоковыми парадигмами генерации.

English

Transformers, the standard implementation for large language models (LLMs), typically consist of tens to hundreds of discrete layers. While more layers can lead to better performance, this approach has been challenged as far from efficient, especially given the superiority of continuous layers demonstrated by diffusion and flow-based models for image generation. We propose the Latent Flow Transformer (LFT), which replaces a block of layers with a single learned transport operator trained via flow matching, offering significant compression while maintaining compatibility with the original architecture. Additionally, we address the limitations of existing flow-based methods in preserving coupling by introducing the Flow Walking (FW) algorithm. On the Pythia-410M model, LFT trained with flow matching compresses 6 of 24 layers and outperforms directly skipping 2 layers (KL Divergence of LM logits at 0.407 vs. 0.529), demonstrating the feasibility of this design. When trained with FW, LFT further distills 12 layers into one while reducing the KL to 0.736 surpassing that from skipping 3 layers (0.932), significantly narrowing the gap between autoregressive and flow-based generation paradigms.