TPTT : Transformer les modèles pré-entraînés en Titans

TPTT: Transforming Pretrained Transformer into Titans

June 21, 2025

Auteurs: Fabien Furfaro

cs.AI

Résumé

Les récentes avancées dans les modèles de langage de grande taille (LLMs) ont conduit à des progrès remarquables dans le traitement du langage naturel, mais leurs exigences en termes de calcul et de mémoire restent un défi majeur, en particulier pour l'inférence en contexte long. Nous présentons TPTT (Transforming Pretrained Transformer into Titans), un nouveau cadre pour améliorer les modèles Transformer pré-entraînés avec des mécanismes d'attention linéarisée efficaces et une gestion avancée de la mémoire. TPTT utilise des techniques telles que Memory as Gate (MaG) et l'attention linéarisée mixte (LiZA). Il est entièrement compatible avec la bibliothèque Hugging Face Transformers, permettant une adaptation transparente de tout LLM causal par un réglage efficace des paramètres (LoRA) sans réentraînement complet. Nous démontrons l'efficacité de TPTT sur le benchmark MMLU avec des modèles d'environ 1 milliard de paramètres, observant des améliorations substantielles à la fois en efficacité et en précision. Par exemple, Titans-Llama-3.2-1B atteint une augmentation de 20 % en Exact Match (EM) par rapport à sa ligne de base. Les analyses statistiques et les comparaisons avec les méthodes récentes de pointe confirment l'évolutivité pratique et la robustesse de TPTT. Le code est disponible à l'adresse https://github.com/fabienfrfr/tptt. Le package Python est disponible à l'adresse https://pypi.org/project/tptt/.

English

Recent advances in large language models (LLMs) have led to remarkable progress in natural language processing, but their computational and memory demands remain a significant challenge, particularly for long-context inference. We introduce TPTT (Transforming Pretrained Transformer into Titans), a novel framework for enhancing pretrained Transformer models with efficient linearized attention mechanisms and advanced memory management. TPTT employs techniques such as Memory as Gate (MaG) and mixed linearized attention (LiZA). It is fully compatible with the Hugging Face Transformers library, enabling seamless adaptation of any causal LLM through parameter-efficient fine-tuning (LoRA) without full retraining. We show the effectiveness of TPTT on the MMLU benchmark with models of approximately 1 billion parameters, observing substantial improvements in both efficiency and accuracy. For instance, Titans-Llama-3.2-1B achieves a 20% increase in Exact Match (EM) over its baseline. Statistical analyses and comparisons with recent state-of-the-art methods confirm the practical scalability and robustness of TPTT. Code is available at https://github.com/fabienfrfr/tptt . Python package at https://pypi.org/project/tptt/ .