Diagnosticeren van schadelijke voortzetting in antwoord-correcte lange CoT-trainingssporen

Samenvatting

Lange chain-of-thought (CoT)-sporen worden veelvuldig gebruikt als supervisie voor redeneringsgericht LLM SFT, maar sporen met correcte antwoorden kunnen nog steeds leiden tot opmerkelijk verschillende finetuningresultaten. Wij bestuderen voortzetting na de conclusie in lange CoT-gegevens met correcte antwoorden: een voortzetting waarbij het antwoord voldoende ondersteund lijkt, maar het spoor verdergaat met additionele redenering die in het gesuperviseerde doel behouden blijft. Om het trainingseffect te testen, gebruiken we een alleen-verwijder-editor om antwoordbehoudende achtervoegselverwijdering te construeren en vergelijken we CoT-gebaseerde SFT op de originele en bewerkte sporen. We nemen verbeterde SFT-resultaten waar na het verwijderen van de door de editor geïdentificeerde voortzetting na de conclusie, wat suggereert dat deze voortzetting schadelijk is voor training in onze setting. We verwijzen daarom naar dit empirisch ondersteunde fenomeen als schadelijke voortzetting. Naast deze interventie karakteriseren we de verwijderde voortzetting na de conclusie verder via onzekerheid en voortgang in verborgen toestand. We nemen aanhoudende lokale onzekerheid waar samen met verzwakte terminal-richtingsvoortgang, wat een mismatch tussen onzekerheid en geometrie vormt. Ten slotte implementeren we Harmful Continuation Cut (HCC), een lichtgewicht grenswaarde die de door de editor geïdentificeerde grens van de voortzetting na de conclusie benadert.

English

Long chain-of-thought (CoT) traces are widely used as supervision for reasoning-oriented LLM SFT, yet answer-correct traces can still lead to markedly different fine-tuning outcomes. We study post-conclusion continuation in answer-correct long-CoT data: a continuation where the answer appears sufficiently supported, but the trace continues with additional reasoning that remains in the supervised target. To test its training effect, we use a delete-only editor to construct answer-preserving suffix removal and compare CoT-based SFT on the original and processed traces. We observe improved SFT outcomes after removing the editor-identified post-conclusion continuation, suggesting that this continuation is harmful to training in our setting. We therefore refer to this empirically supported phenomenon as harmful continuation. Beyond this intervention, we further characterize the removed post-conclusion continuation through uncertainty and hidden-state progress. We observe persistent local uncertainty together with weakened terminal-directional progress, forming an uncertainty--geometry mismatch. Finally, we instantiate Harmful Continuation Cut (HCC), a lightweight boundary proxy that approximates the editor-identified post-conclusion continuation boundary.