Сжатая цепочка мыслей: эффективное рассуждение через плотные представления

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

Авторы: Jeffrey Cheng, Benjamin Van Durme

cs.AI

Аннотация

Декодирование цепочки мыслей (CoT) позволяет языковым моделям улучшить производительность рассуждений за счет высокой задержки генерации при декодировании. В последних исследованиях были рассмотрены варианты токенов контемпляции, термин, который мы вводим и который относится к специальным токенам, используемым во время вывода для дополнительных вычислений. В предыдущих работах рассматривались последовательности фиксированной длины, взятые из дискретного набора вложений, в качестве токенов контемпляции. Здесь мы предлагаем Сжатую Цепочку Мыслей (CCoT), фреймворк для генерации содержательных и непрерывных токенов контемпляции переменной длины последовательности. Сгенерированные токены контемпляции являются сжатыми представлениями явных цепочек рассуждений, и наш метод может быть применен к готовым декодерам языковых моделей. Через эксперименты мы иллюстрируем, как CCoT позволяет дополнительные рассуждения над плотными содержательными представлениями для достижения соответствующих улучшений в точности. Более того, улучшения в рассуждениях могут быть адаптивно изменены по требованию путем контроля количества сгенерированных токенов контемпляции.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.