Capacidad de Conteo de Modelos de Lenguaje Grandes y Impacto de la Tokenización

Counting Ability of Large Language Models and Impact of Tokenization

October 25, 2024

Autores: Xiang Zhang, Juntai Cao, Chenyu You

cs.AI

Resumen

Los Transformers, la columna vertebral de los modernos modelos de lenguaje grandes (LLMs), enfrentan limitaciones arquitectónicas inherentes que obstaculizan sus capacidades de razonamiento. A diferencia de las redes recurrentes, los Transformers carecen de conexiones recurrentes, lo que los confina a una computación de profundidad constante. Esta restricción los sitúa en la clase de complejidad TC^0, lo que teóricamente los hace incapaces de resolver tareas que requieran un razonamiento cada vez más profundo a medida que crece la longitud de entrada. El conteo, un componente fundamental de muchas tareas de razonamiento, también requiere que la profundidad de razonamiento crezca linealmente para realizarse de manera inductiva. Si bien estudios previos han establecido los límites superiores de la capacidad de conteo en modelos expertos basados en Transformers (es decir, modelos específicamente entrenados para tareas de conteo), estos hallazgos no se extienden directamente a los LLMs de propósito general debido a diferencias en los mecanismos de razonamiento. Trabajos recientes han resaltado cómo el razonamiento en Cadena de Pensamiento (CoT) puede ayudar a aliviar algunas de las limitaciones arquitectónicas de los Transformers en tareas de conteo. Sin embargo, se ha prestado poca atención al papel de la tokenización en estos modelos. A diferencia de los modelos expertos que a menudo utilizan tokenización a nivel de caracteres, los LLMs suelen depender de tokenizadores a nivel de bytes (BPE), lo que altera fundamentalmente la forma en que se procesa el razonamiento. Nuestro trabajo investiga el impacto de la tokenización en las habilidades de conteo de los LLMs, descubriendo variaciones de rendimiento sustanciales basadas en diferencias de tokenización de entrada. Proporcionamos análisis teóricos y experimentales, ofreciendo ideas sobre cómo las elecciones de tokenización pueden socavar la computabilidad teórica de los modelos, inspirando así el diseño de nuevos métodos de tokenización para mejorar el razonamiento en los LLMs.

English

Transformers, the backbone of modern large language models (LLMs), face inherent architectural limitations that impede their reasoning capabilities. Unlike recurrent networks, Transformers lack recurrent connections, confining them to constant-depth computation. This restriction places them in the complexity class TC^0, making them theoretically incapable of solving tasks that demand increasingly deep reasoning as input length grows. Counting, a fundamental component of many reasoning tasks, also requires reasoning depth to grow linearly to be performed inductively. While previous studies have established the upper limits of counting ability in Transformer-based expert models (i.e., models specifically trained for counting tasks), these findings do not directly extend to general-purpose LLMs due to differences in reasoning mechanisms. Recent work has highlighted how Chain of Thought (CoT) reasoning can help alleviate some of the architectural limitations of Transformers in counting tasks. However, little attention has been paid to the role of tokenization in these models. Unlike expert models that often use character-level tokenization, LLMs typically rely on byte-level (BPE) tokenizers, which fundamentally alters the way reasoning is processed. Our work investigates the impact of tokenization on the counting abilities of LLMs, uncovering substantial performance variations based on input tokenization differences. We provide both theoretical and experimental analyses, offering insights into how tokenization choices can undermine models' theoretical computability, thereby inspiring the design of new tokenization methods to enhance reasoning in LLMs.