TPTT: Transformation vortrainierter Transformer in Titanen

TPTT: Transforming Pretrained Transformer into Titans

June 21, 2025

Autoren: Fabien Furfaro

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben zu bemerkenswerten Fortschritten in der natürlichen Sprachverarbeitung geführt, doch ihre Rechen- und Speicheranforderungen bleiben eine erhebliche Herausforderung, insbesondere für Inferenzen mit langen Kontexten. Wir stellen TPTT (Transforming Pretrained Transformer into Titans) vor, ein neuartiges Framework zur Verbesserung vortrainierter Transformer-Modelle durch effiziente linearisierte Aufmerksamkeitsmechanismen und fortschrittliches Speichermanagement. TPTT nutzt Techniken wie Memory as Gate (MaG) und gemischte linearisierte Aufmerksamkeit (LiZA). Es ist vollständig kompatibel mit der Hugging Face Transformers-Bibliothek und ermöglicht die nahtlose Anpassung jedes kausalen LLM durch parameter-effizientes Feinabstimmen (LoRA) ohne vollständiges Neulernen. Wir zeigen die Wirksamkeit von TPTT auf dem MMLU-Benchmark mit Modellen von etwa 1 Milliarde Parametern und beobachten erhebliche Verbesserungen sowohl in der Effizienz als auch in der Genauigkeit. Beispielsweise erreicht Titans-Llama-3.2-1B eine 20%ige Steigerung in Exact Match (EM) gegenüber seinem Baseline-Modell. Statistische Analysen und Vergleiche mit aktuellen State-of-the-Art-Methoden bestätigen die praktische Skalierbarkeit und Robustheit von TPTT. Der Code ist verfügbar unter https://github.com/fabienfrfr/tptt. Das Python-Paket finden Sie unter https://pypi.org/project/tptt/.

English

Recent advances in large language models (LLMs) have led to remarkable progress in natural language processing, but their computational and memory demands remain a significant challenge, particularly for long-context inference. We introduce TPTT (Transforming Pretrained Transformer into Titans), a novel framework for enhancing pretrained Transformer models with efficient linearized attention mechanisms and advanced memory management. TPTT employs techniques such as Memory as Gate (MaG) and mixed linearized attention (LiZA). It is fully compatible with the Hugging Face Transformers library, enabling seamless adaptation of any causal LLM through parameter-efficient fine-tuning (LoRA) without full retraining. We show the effectiveness of TPTT on the MMLU benchmark with models of approximately 1 billion parameters, observing substantial improvements in both efficiency and accuracy. For instance, Titans-Llama-3.2-1B achieves a 20% increase in Exact Match (EM) over its baseline. Statistical analyses and comparisons with recent state-of-the-art methods confirm the practical scalability and robustness of TPTT. Code is available at https://github.com/fabienfrfr/tptt . Python package at https://pypi.org/project/tptt/ .