TPTT: Transformando Transformadores Preentrenados en Titanes

TPTT: Transforming Pretrained Transformer into Titans

June 21, 2025

Autores: Fabien Furfaro

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han impulsado un progreso notable en el procesamiento del lenguaje natural, pero sus demandas computacionales y de memoria siguen siendo un desafío significativo, especialmente para la inferencia de contextos largos. Presentamos TPTT (Transformando Transformadores Preentrenados en Titanes), un marco novedoso para mejorar los modelos Transformadores preentrenados con mecanismos de atención linealizada eficiente y gestión avanzada de memoria. TPTT emplea técnicas como Memoria como Puerta (MaG) y atención linealizada mixta (LiZA). Es totalmente compatible con la biblioteca Hugging Face Transformers, lo que permite la adaptación fluida de cualquier LLM causal mediante ajuste fino eficiente en parámetros (LoRA) sin necesidad de un reentrenamiento completo. Demostramos la efectividad de TPTT en el benchmark MMLU con modelos de aproximadamente mil millones de parámetros, observando mejoras sustanciales tanto en eficiencia como en precisión. Por ejemplo, Titans-Llama-3.2-1B logra un aumento del 20% en Exact Match (EM) respecto a su línea base. Los análisis estadísticos y las comparaciones con métodos recientes de vanguardia confirman la escalabilidad práctica y la robustez de TPTT. El código está disponible en https://github.com/fabienfrfr/tptt. El paquete de Python se encuentra en https://pypi.org/project/tptt/.

English

Recent advances in large language models (LLMs) have led to remarkable progress in natural language processing, but their computational and memory demands remain a significant challenge, particularly for long-context inference. We introduce TPTT (Transforming Pretrained Transformer into Titans), a novel framework for enhancing pretrained Transformer models with efficient linearized attention mechanisms and advanced memory management. TPTT employs techniques such as Memory as Gate (MaG) and mixed linearized attention (LiZA). It is fully compatible with the Hugging Face Transformers library, enabling seamless adaptation of any causal LLM through parameter-efficient fine-tuning (LoRA) without full retraining. We show the effectiveness of TPTT on the MMLU benchmark with models of approximately 1 billion parameters, observing substantial improvements in both efficiency and accuracy. For instance, Titans-Llama-3.2-1B achieves a 20% increase in Exact Match (EM) over its baseline. Statistical analyses and comparisons with recent state-of-the-art methods confirm the practical scalability and robustness of TPTT. Code is available at https://github.com/fabienfrfr/tptt . Python package at https://pypi.org/project/tptt/ .