Apprendre au-delà de la réponse : Former des modèles de langage avec réflexion pour le raisonnement mathématique

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Auteurs: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Résumé

Le réglage fin supervisé améliore les capacités de résolution de problèmes des modèles de langage pour diverses tâches de raisonnement mathématique. Pour maximiser ces avantages, les recherches existantes se concentrent sur l'élargissement de l'ensemble d'entraînement grâce à diverses techniques d'augmentation de données, ce qui est efficace pour les configurations standards de questions-réponses en une seule étape. Notre travail introduit une technique novatrice visant à cultiver une compréhension plus approfondie des problèmes d'entraînement, améliorant les performances non seulement dans les configurations standards mais aussi dans des scénarios plus complexes nécessitant une pensée réflexive. Plus précisément, nous proposons l'augmentation réflexive, une méthode qui intègre la réflexion sur le problème dans chaque instance d'entraînement. Elle entraîne le modèle à considérer des perspectives alternatives et à s'engager avec des abstractions et des analogies, favorisant ainsi une compréhension approfondie grâce au raisonnement réflexif. Des expériences approfondies valident la réalisation de notre objectif, mettant en évidence les avantages uniques de notre méthode et sa nature complémentaire par rapport aux techniques d'augmentation existantes.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.