Case2Code: Inductief Redeneren Leren met Synthetische Data

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

Auteurs: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

Samenvatting

Complexe redenering is een indrukwekkend vermogen dat wordt getoond door grote taalmodellen (LLM's). De meeste LLM's zijn bedreven in deductief redeneren, zoals ketting-van-gedachten-prompting of het iteratief gebruiken van tools om uitdagende taken stap voor stap op te lossen. In dit artikel hopen we ons te richten op het evalueren en aanleren van inductief redeneren aan LLM's, dat wil zeggen, LLM's moeten onderliggende regels afleiden door het observeren van voorbeelden of sequentiële transformaties. Het verzamelen van grootschalige en diverse door mensen gegenereerde inductieve data is echter een uitdaging. We richten ons op datasynthese in het code-domein en stellen een Case2Code-taak voor door gebruik te maken van de expressiviteit en correctheid van programma's. Specifiek verzamelen we een diverse set uitvoerbare programma's, synthetiseren we input-output-transformaties voor elk programma en dwingen we LLM's om de onderliggende code-implementaties af te leiden op basis van de synthetische I/O-gevallen. We evalueren eerst representatieve LLM's op de gesynthetiseerde Case2Code-taak en tonen aan dat de Case-to-code-inductie uitdagend is voor LLM's. Vervolgens synthetiseren we grootschalige Case2Code-trainingsvoorbeelden om LLM's te trainen in inductief redeneren. Experimentele resultaten laten zien dat dergelijke inductietraining niet alleen voordelen biedt voor de prestaties binnen de distributie van Case2Code, maar ook verschillende codeervaardigheden van getrainde LLM's verbetert, wat het grote potentieel aantoont van het leren van inductief redeneren via synthetische data.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.