TPTT: Het transformeren van vooraf getrainde transformers in titanen

TPTT: Transforming Pretrained Transformer into Titans

June 21, 2025

Auteurs: Fabien Furfaro

cs.AI

Samenvatting

Recente ontwikkelingen in grote taalmodellen (LLMs) hebben tot opmerkelijke vooruitgang geleid in natuurlijke taalverwerking, maar hun rekenkundige en geheugeneisen blijven een aanzienlijke uitdaging, met name voor inferentie met lange contexten. Wij introduceren TPTT (Transforming Pretrained Transformer into Titans), een nieuw raamwerk voor het verbeteren van vooraf getrainde Transformer-modellen met efficiënte gelineariseerde aandachtmechanismen en geavanceerd geheugenbeheer. TPTT maakt gebruik van technieken zoals Memory as Gate (MaG) en gemengde gelineariseerde aandacht (LiZA). Het is volledig compatibel met de Hugging Face Transformers-bibliotheek, waardoor naadloze aanpassing van elk causaal LLM mogelijk is via parameter-efficiënte fine-tuning (LoRA) zonder volledige hertraining. Wij tonen de effectiviteit van TPTT aan op de MMLU-benchmark met modellen van ongeveer 1 miljard parameters, waarbij aanzienlijke verbeteringen worden waargenomen in zowel efficiëntie als nauwkeurigheid. Titans-Llama-3.2-1B behaalt bijvoorbeeld een stijging van 20% in Exact Match (EM) ten opzichte van de baseline. Statistische analyses en vergelijkingen met recente state-of-the-art methoden bevestigen de praktische schaalbaarheid en robuustheid van TPTT. Code is beschikbaar op https://github.com/fabienfrfr/tptt . Python-pakket op https://pypi.org/project/tptt/ .

English

Recent advances in large language models (LLMs) have led to remarkable progress in natural language processing, but their computational and memory demands remain a significant challenge, particularly for long-context inference. We introduce TPTT (Transforming Pretrained Transformer into Titans), a novel framework for enhancing pretrained Transformer models with efficient linearized attention mechanisms and advanced memory management. TPTT employs techniques such as Memory as Gate (MaG) and mixed linearized attention (LiZA). It is fully compatible with the Hugging Face Transformers library, enabling seamless adaptation of any causal LLM through parameter-efficient fine-tuning (LoRA) without full retraining. We show the effectiveness of TPTT on the MMLU benchmark with models of approximately 1 billion parameters, observing substantial improvements in both efficiency and accuracy. For instance, Titans-Llama-3.2-1B achieves a 20% increase in Exact Match (EM) over its baseline. Statistical analyses and comparisons with recent state-of-the-art methods confirm the practical scalability and robustness of TPTT. Code is available at https://github.com/fabienfrfr/tptt . Python package at https://pypi.org/project/tptt/ .