Über den Antwort hinaus lernen: Schulung von Sprachmodellen mit Reflexion für mathematisches Denken

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Autoren: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Zusammenfassung

Das überwachte Feintuning verbessert die Problemlösungsfähigkeiten von Sprachmodellen bei verschiedenen mathematischen Denkaufgaben. Um solche Vorteile zu maximieren, konzentriert sich die bestehende Forschung darauf, den Trainingsdatensatz mit verschiedenen Datenvergrößerungstechniken zu erweitern, was für herkömmliche Einzelrunden-Frage-Antwort-Szenarien effektiv ist. Unsere Arbeit stellt eine neuartige Technik vor, die darauf abzielt, ein tieferes Verständnis der vorliegenden Trainingsprobleme zu fördern, um die Leistung nicht nur in herkömmlichen Einstellungen, sondern auch in komplexeren Szenarien zu verbessern, die reflektives Denken erfordern. Konkret schlagen wir reflektive Datenvergrößerung vor, eine Methode, die die Problembetrachtung in jede Trainingseinheit einbettet. Sie trainiert das Modell, alternative Perspektiven zu berücksichtigen und sich mit Abstraktionen und Analogien auseinanderzusetzen, um so ein gründliches Verständnis durch reflektives Denken zu fördern. Umfangreiche Experimente bestätigen die Erreichung unseres Ziels und unterstreichen die einzigartigen Vorteile unserer Methode sowie ihre ergänzende Natur im Vergleich zu bestehenden Vergrößerungstechniken.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.