Диагностика вредного продолжения в обучающих траекториях длинной цепочки рассуждений с правильными ответами

Аннотация

Длинные цепочки рассуждений (CoT) широко используются в качестве супервизорного сигнала для SFT LLM, ориентированной на рассуждения, однако трассы с верными ответами могут приводить к заметно различающимся результатам тонкой настройки. Мы изучаем продолжение после вывода (post-conclusion continuation) в данных длинных CoT с верными ответами: такое продолжение, когда ответ кажется достаточно обоснованным, но трасса содержит дополнительные рассуждения, остающиеся в цели обучения под наблюдением. Для проверки его влияния на обучение мы используем редактор, работающий только на удаление, чтобы построить суффиксное удаление, сохраняющее ответ, и сравниваем SFT на основе CoT на исходных и обработанных трассах. Мы наблюдаем улучшение результатов SFT после удаления выявленного редактором продолжения после вывода, что указывает на вредоносность такого продолжения для обучения в наших условиях. Поэтому мы называем этот эмпирически подтвержденный феномен вредоносным продолжением (harmful continuation). Помимо этого вмешательства, мы дополнительно характеризуем удаленное продолжение после вывода через неопределенность и прогресс скрытого состояния. Мы наблюдаем устойчивую локальную неопределенность вместе с ослабленным терминально-направленным прогрессом, формируя несоответствие неопределенности и геометрии (uncertainty–geometry mismatch). Наконец, мы создаем метод обрезки вредоносного продолжения (Harmful Continuation Cut, HCC) — легковесный прокси-индикатор границы, приближающийся к выявленной редактором границе продолжения после вывода.

English

Long chain-of-thought (CoT) traces are widely used as supervision for reasoning-oriented LLM SFT, yet answer-correct traces can still lead to markedly different fine-tuning outcomes. We study post-conclusion continuation in answer-correct long-CoT data: a continuation where the answer appears sufficiently supported, but the trace continues with additional reasoning that remains in the supervised target. To test its training effect, we use a delete-only editor to construct answer-preserving suffix removal and compare CoT-based SFT on the original and processed traces. We observe improved SFT outcomes after removing the editor-identified post-conclusion continuation, suggesting that this continuation is harmful to training in our setting. We therefore refer to this empirically supported phenomenon as harmful continuation. Beyond this intervention, we further characterize the removed post-conclusion continuation through uncertainty and hidden-state progress. We observe persistent local uncertainty together with weakened terminal-directional progress, forming an uncertainty--geometry mismatch. Finally, we instantiate Harmful Continuation Cut (HCC), a lightweight boundary proxy that approximates the editor-identified post-conclusion continuation boundary.