Case2Code : Apprentissage du raisonnement inductif avec des données synthétiques

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

Auteurs: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

Résumé

Le raisonnement complexe est une capacité impressionnante démontrée par les grands modèles de langage (LLMs). La plupart des LLMs excellent dans le raisonnement déductif, comme l'incitation à la chaîne de pensée ou l'utilisation itérative d'outils pour résoudre des tâches complexes étape par étape. Dans cet article, nous souhaitons nous concentrer sur l'évaluation et l'enseignement des LLMs pour effectuer un raisonnement inductif, c'est-à-dire que les LLMs doivent inférer des règles sous-jacentes en observant des exemples ou des transformations séquentielles. Cependant, collecter des données inductives générées par l'homme à grande échelle et diversifiées est un défi. Nous nous concentrons sur la synthèse de données dans le domaine du code et proposons une tâche Case2Code en exploitant l'expressivité et la correction des programmes. Plus précisément, nous collectons un ensemble diversifié de programmes exécutables, synthétisons des transformations entrée-sortie pour chaque programme, et forçons les LLMs à inférer les implémentations de code sous-jacentes basées sur les cas I/O synthétiques. Nous évaluons d'abord des LLMs représentatifs sur la tâche Case2Code synthétisée et démontrons que l'induction de cas à code est difficile pour les LLMs. Ensuite, nous synthétisons un grand nombre d'échantillons d'entraînement Case2Code pour entraîner les LLMs à effectuer un raisonnement inductif. Les résultats expérimentaux montrent qu'un tel entraînement inductif bénéficie non seulement à la performance Case2Code en distribution, mais améliore également diverses capacités de codage des LLMs entraînés, démontrant le grand potentiel de l'apprentissage du raisonnement inductif via des données synthétiques.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.