Знание перед высказыванием: представления языковых моделей кодируют информацию об успешности цепочки рассуждений до завершения

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

Авторы: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

Аннотация

Мы исследуем, можно ли предсказать успех процесса нулевого снимка "Цепочки Мыслей" (CoT) до его завершения. Мы обнаруживаем, что зондирующий классификатор, основанный на представлениях языковой модели (LLM), демонстрирует высокую эффективность даже до генерации первого токена, что указывает на наличие важной информации о процессе рассуждения уже в начальных этапах представлений. В отличие от этого, сильная базовая модель на основе BERT, которая полагается исключительно на сгенерированные токены, показывает худшие результаты, вероятно, из-за зависимости от поверхностных лингвистических признаков, а не от более глубоких динамик рассуждения. Удивительно, но использование более поздних этапов рассуждения не всегда улучшает классификацию. Когда дополнительный контекст не помогает, ранние представления больше напоминают поздние, что свидетельствует о том, что LLM кодируют ключевую информацию на ранних этапах. Это подразумевает, что процесс рассуждения часто может быть остановлен раньше без потери качества. Чтобы проверить это, мы проводим эксперименты с ранней остановкой, показывая, что усечение CoT-рассуждений всё же улучшает производительность по сравнению с полным отсутствием CoT, хотя разница с полным рассуждением сохраняется. Однако подходы, такие как обучение с учителем или обучение с подкреплением, разработанные для сокращения цепочек CoT, могут использовать руководство нашего классификатора для определения моментов, когда ранняя остановка эффективна. Наши результаты предоставляют инсайты, которые могут поддержать такие методы, помогая оптимизировать эффективность CoT, сохраняя при этом его преимущества.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.