Komprimierte Gedankenkette: Effizientes Schlussfolgern durch dichte Repräsentationen

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

Autoren: Jeffrey Cheng, Benjamin Van Durme

cs.AI

Zusammenfassung

Die Decodierung mittels Ketten-Gedanken (CoT) ermöglicht es Sprachmodellen, die Schlussfolgerungsleistung zu verbessern, jedoch auf Kosten einer hohen Generierungslatenz bei der Decodierung. In jüngsten Vorschlägen wurden Varianten von Betrachtungs-Token untersucht, ein Begriff, den wir einführen, der sich auf spezielle Token bezieht, die während der Inferenz verwendet werden, um zusätzliche Berechnungen zu ermöglichen. Frühere Arbeiten haben festlängige Sequenzen aus einem diskreten Satz von Einbettungen als Betrachtungs-Token betrachtet. Hier schlagen wir Compressed Chain-of-Thought (CCoT) vor, ein Rahmenwerk zur Generierung gehaltvoller und kontinuierlicher Betrachtungs-Token variabler Sequenzlänge. Die generierten Betrachtungs-Token sind komprimierte Darstellungen expliziter Schlussfolgerungsketten, und unsere Methode kann auf Decoder-Sprachmodelle von der Stange angewendet werden. Durch Experimente veranschaulichen wir, wie CCoT zusätzliche Schlussfolgerungen über dichte gehaltvolle Darstellungen ermöglicht, um entsprechende Verbesserungen in der Genauigkeit zu erzielen. Darüber hinaus können die Schlussfolgerungsverbesserungen durch Steuerung der Anzahl der generierten Betrachtungs-Token bedarfsgerecht angepasst werden.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.