Achte auf die Lücke: Überbrückung des Gedankensprungs für verbessertes Chain-of-Thought-Tuning

Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning

May 20, 2025

Autoren: Haolei Xu, Yuchen Yan, Yongliang Shen, Wenqi Zhang, Guiyang Hou, Shengpei Jiang, Kaitao Song, Weiming Lu, Jun Xiao, Yueting Zhuang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fortschritte bei mathematischen Aufgaben durch Chain-of-Thought (CoT)-Argumentation erzielt. Allerdings leiden bestehende mathematische CoT-Datensätze oft unter Gedankensprüngen, da Experten Zwischenschritte auslassen, was sich negativ auf das Modelllernen und die Generalisierung auswirkt. Wir schlagen die CoT Thought Leap Bridge Task vor, die darauf abzielt, Sprünge automatisch zu erkennen und fehlende Zwischenschritte in der Argumentation zu generieren, um die Vollständigkeit und Kohärenz von CoT wiederherzustellen. Um dies zu ermöglichen, haben wir einen spezialisierten Trainingsdatensatz namens ScaleQM+ auf Basis des strukturierten ScaleQuestMath-Datensatzes erstellt und CoT-Bridge trainiert, um Gedankensprünge zu überbrücken. Durch umfassende Experimente auf mathematischen Argumentations-Benchmarks zeigen wir, dass Modelle, die auf überbrückten Datensätzen feinabgestimmt wurden, durchweg besser abschneiden als solche, die auf Originaldatensätzen trainiert wurden, mit Verbesserungen von bis zu +5,87 % auf NuminaMath. Unser Ansatz verbessert effektiv destillierte Daten (+3,02 %) und bietet bessere Ausgangspunkte für Reinforcement Learning (+3,1 %), wobei er als Plug-and-Play-Modul mit bestehenden Optimierungstechniken kompatibel ist. Darüber hinaus zeigt CoT-Bridge eine verbesserte Generalisierung auf domänenfremde logische Argumentationsaufgaben, was bestätigt, dass die Erhöhung der Argumentationsvollständigkeit breit anwendbare Vorteile bringt.

English

Large language models (LLMs) have achieved remarkable progress on mathematical tasks through Chain-of-Thought (CoT) reasoning. However, existing mathematical CoT datasets often suffer from Thought Leaps due to experts omitting intermediate steps, which negatively impacts model learning and generalization. We propose the CoT Thought Leap Bridge Task, which aims to automatically detect leaps and generate missing intermediate reasoning steps to restore the completeness and coherence of CoT. To facilitate this, we constructed a specialized training dataset called ScaleQM+, based on the structured ScaleQuestMath dataset, and trained CoT-Bridge to bridge thought leaps. Through comprehensive experiments on mathematical reasoning benchmarks, we demonstrate that models fine-tuned on bridged datasets consistently outperform those trained on original datasets, with improvements of up to +5.87% on NuminaMath. Our approach effectively enhances distilled data (+3.02%) and provides better starting points for reinforcement learning (+3.1%), functioning as a plug-and-play module compatible with existing optimization techniques. Furthermore, CoT-Bridge demonstrate improved generalization to out-of-domain logical reasoning tasks, confirming that enhancing reasoning completeness yields broadly applicable benefits.