Cadena de Pensamiento Comprimida: Razonamiento Eficiente a Través de Representaciones Densas

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

Autores: Jeffrey Cheng, Benjamin Van Durme

cs.AI

Resumen

La decodificación de Cadena de Pensamiento (CoT) permite a los modelos de lenguaje mejorar el rendimiento de razonamiento a costa de una alta latencia de generación en la decodificación. Propuestas recientes han explorado variantes de tokens de contemplación, un término que introducimos y que se refiere a tokens especiales utilizados durante la inferencia para permitir cálculos adicionales. Trabajos anteriores han considerado secuencias de longitud fija extraídas de un conjunto discreto de incrustaciones como tokens de contemplación. Aquí proponemos Cadena de Pensamiento Comprimida (CCoT), un marco para generar tokens de contemplación significativos y continuos de longitud de secuencia variable. Los tokens de contemplación generados son representaciones comprimidas de cadenas de razonamiento explícitas, y nuestro método puede aplicarse a modelos de lenguaje decodificador listos para usar. A través de experimentos, ilustramos cómo CCoT permite un razonamiento adicional sobre representaciones densas y significativas para lograr mejoras correspondientes en precisión. Además, las mejoras en el razonamiento pueden ser modificadas de forma adaptativa según la demanda controlando el número de tokens de contemplación generados.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.