Смешанный токен: комбинирование скрытых и текстовых токенов для улучшения лингвистического моделирования.

Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning

February 5, 2025

Авторы: DiJia Su, Hanlin Zhu, Yingchen Xu, Jiantao Jiao, Yuandong Tian, Qinqing Zheng

cs.AI

Аннотация

Большие языковые модели (LLM) проявляют себя великолепно в рассуждениях и планировании, когда обучены на данных цепочки мыслей (CoT), где пошаговый процесс мышления явно описан текстовыми токенами. Однако это приводит к длинным входным данным, где многие слова поддерживают текстовую связность, а не основную информацию рассуждений, и обработка этих данных требует значительных вычислительных ресурсов. В данной работе мы предлагаем гибридное представление процесса рассуждения, где мы частично абстрагируем начальные шаги рассуждений с использованием латентных дискретных токенов, сгенерированных VQ-VAE, что значительно сокращает длину следов рассуждений. Мы исследуем использование латентных абстракций следов в двух сценариях: 1) обучение модели с нуля для проблемы лабиринта поиска ключей, 2) дообучение LLM на этих гибридных данных с расширенным словарем, включающим невидимые латентные токены, как для логических, так и для математических задач рассуждений. Для облегчения эффективного обучения мы представляем простую процедуру обучения, которая случайным образом смешивает латентные и текстовые токены, что обеспечивает быструю адаптацию к новым латентным токенам. Наш подход последовательно превосходит базовые методы на различных бенчмарках.

English

Large Language Models (LLMs) excel at reasoning and planning when trained on chainof-thought (CoT) data, where the step-by-step thought process is explicitly outlined by text tokens. However, this results in lengthy inputs where many words support textual coherence rather than core reasoning information, and processing these inputs consumes substantial computation resources. In this work, we propose a hybrid representation of the reasoning process, where we partially abstract away the initial reasoning steps using latent discrete tokens generated by VQ-VAE, significantly reducing the length of reasoning traces. We explore the use of latent trace abstractions in two scenarios: 1) training the model from scratch for the Keys-Finding Maze problem, 2) fine-tuning LLMs on this hybrid data with an extended vocabulary including unseen latent tokens, for both logical and mathematical reasoning problems. To facilitate effective learning, we introduce a simple training procedure that randomly mixes latent and text tokens, which enables fast adaptation to new latent tokens. Our approach consistently outperforms the baselines methods in various benchmarks.