TPTT: Преобразование предобученных трансформеров в титанов

TPTT: Transforming Pretrained Transformer into Titans

June 21, 2025

Авторы: Fabien Furfaro

cs.AI

Аннотация

Последние достижения в области больших языковых моделей (LLM) привели к значительному прогрессу в обработке естественного языка, однако их вычислительные и ресурсные требования остаются серьезной проблемой, особенно для задач с длинным контекстом. Мы представляем TPTT (Transforming Pretrained Transformer into Titans) — новый фреймворк для улучшения предобученных моделей Transformer с использованием эффективных механизмов линеаризованного внимания и продвинутого управления памятью. TPTT использует такие методы, как Memory as Gate (MaG) и смешанное линеаризованное внимание (LiZA). Он полностью совместим с библиотекой Hugging Face Transformers, что позволяет легко адаптировать любую каузальную LLM с помощью параметрически эффективной тонкой настройки (LoRA) без необходимости полного переобучения. Мы демонстрируем эффективность TPTT на бенчмарке MMLU с моделями, содержащими около 1 миллиарда параметров, наблюдая значительные улучшения как в эффективности, так и в точности. Например, Titans-Llama-3.2-1B достигает увеличения точности Exact Match (EM) на 20% по сравнению с базовой моделью. Статистический анализ и сравнение с современными методами подтверждают практическую масштабируемость и надежность TPTT. Код доступен по адресу https://github.com/fabienfrfr/tptt. Python-пакет можно найти на https://pypi.org/project/tptt/.

English

Recent advances in large language models (LLMs) have led to remarkable progress in natural language processing, but their computational and memory demands remain a significant challenge, particularly for long-context inference. We introduce TPTT (Transforming Pretrained Transformer into Titans), a novel framework for enhancing pretrained Transformer models with efficient linearized attention mechanisms and advanced memory management. TPTT employs techniques such as Memory as Gate (MaG) and mixed linearized attention (LiZA). It is fully compatible with the Hugging Face Transformers library, enabling seamless adaptation of any causal LLM through parameter-efficient fine-tuning (LoRA) without full retraining. We show the effectiveness of TPTT on the MMLU benchmark with models of approximately 1 billion parameters, observing substantial improvements in both efficiency and accuracy. For instance, Titans-Llama-3.2-1B achieves a 20% increase in Exact Match (EM) over its baseline. Statistical analyses and comparisons with recent state-of-the-art methods confirm the practical scalability and robustness of TPTT. Code is available at https://github.com/fabienfrfr/tptt . Python package at https://pypi.org/project/tptt/ .