Morphing in hybride Aufmerksamkeitsmodelle

Zusammenfassung

Hybride Aufmerksamkeitsmodelle verbessern die Effizienz bei langen Kontexten, indem sie nur eine Teilmenge der vollständigen Aufmerksamkeitsschichten beibehalten und die übrigen Schichten durch lineare Aufmerksamkeit ersetzen. Die Wirksamkeit der Umwandlung von Transformatoren in hybride Architekturen hängt jedoch entscheidend davon ab, welche Schichten die vollständige Aufmerksamkeit beibehalten. Bisherige Methoden zur Auswahl hybrider Schichten beruhen typischerweise auf heuristischen Strategien wie festen Platzierungsmustern oder schichtweiser Bewertung, wobei die Schichtbedeutung implizit als isoliert betrachtet und der wechselseitige Schichteffekt unter einer globalen hybriden Konfiguration außer Acht gelassen wird. In dieser Arbeit formulieren wir die Auswahl hybrider Schichten als budgetbeschränktes Teilmengenoptimierungsproblem. Wir schlagen zudem FlashMorph (Fast LAyer Selection for Hybrid MORPHing) vor, eine effektive, effiziente und skalierbare Methode zur Schichtauswahl für die Umwandlung von Transformatoren in hybride Architekturen. FlashMorph konstruiert zunächst ein wandelbares Modell, indem jede vollständige Aufmerksamkeitsschicht mit einem umgewandelten linearen Aufmerksamkeitszweig ausgestattet wird. Anschließend werden alle Modellgewichte eingefroren und schichtweise Gatter gemeinsam auf synthetischen Daten für den Abruf langer Kontexte optimiert, wobei eine Linearisierungsregularisierung das Modell dazu anregt, sich aus Effizienzgründen auf lineare Aufmerksamkeit zu stützen. Die erlernten Gatter werden unter einem vorgegebenen Budget für vollständige Aufmerksamkeit diskretisiert, um die hybride Architektur zu instanziieren, gefolgt von einer Standard-Logits-Destillation und einer Feinabstimmung für lange Kontexte. Umfangreiche Experimente zeigen, dass FlashMorph effektivere hybride Konfigurationen entdeckt, eine hohe Langkontext-Recallrate und allgemeine Benchmarkleistung beibehält und gleichzeitig die Kosten der Schichtauswahl im Vergleich zu bestehenden Methoden erheblich reduziert, was seine Effektivität, Effizienz und Skalierbarkeit demonstriert.

English

Hybrid attention models improve long-context efficiency by retaining only a subset of full-attention layers and replacing the remaining layers with linear attention. However, the effectiveness of Transformer-to-hybrid conversion critically depends on which layers preserve full attention. Existing hybrid layer selection methods typically rely on heuristic strategies such as fixed placement patterns or layerwise scoring, implicitly treating layer importance as isolated and overlooking the interdependent layer effect under a global hybrid configuration. In this work, we formulate hybrid layer selection as a budget-constrained subset optimization problem. We further propose FlashMorph (Fast LAyer Selection for Hybrid MORPHing), an effective, efficient and scalable layer selection method for Transformer-to-hybrid conversion. FlashMorph first constructs a morphable model by equipping each full-attention layer with a converted linear-attention branch. It then freezes all model weights and jointly optimizes layerwise gates on synthetic long-context retrieval data, with a linearization regularization that encourages the model to rely on linear attention for efficiency. The learned gates are discretized under a preset full-attention budget to instantiate the hybrid architecture, followed by standard logits distillation and long-context finetuning. Extensive experiments show that FlashMorph discovers more effective hybrid configurations, preserves strong long-context recall and general benchmark performance while substantially reducing layer selection cost compared with existing layer selection methods, demonstrating its effectiveness, efficiency, and scalability.