Fallstudie2Code: Lernen induktiver Schlussfolgerungen mit synthetischen Daten

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

Autoren: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

Zusammenfassung

Komplexes Denken ist eine beeindruckende Fähigkeit, die von großen Sprachmodellen (LLMs) gezeigt wird. Die meisten LLMs sind versiert im deduktiven Denken, wie beispielsweise das Anstoßen von Gedankenketten oder die iterative Werkzeugverwendung, um anspruchsvolle Aufgaben schrittweise zu lösen. In diesem Paper möchten wir uns darauf konzentrieren, LLMs zu bewerten und beizubringen, induktives Denken durchzuführen, d.h. LLMs sollen zugrunde liegende Regeln ableiten, indem sie Beispiele oder sequenzielle Transformationen beobachten. Die Sammlung von umfangreichen und vielfältigen menschenerzeugten induktiven Daten ist jedoch eine Herausforderung. Wir konzentrieren uns auf die Datensynthese im Code-Bereich und schlagen eine Case2Code-Aufgabe vor, indem wir die Ausdrucksstärke und Korrektheit von Programmen ausnutzen. Konkret sammeln wir eine vielfältige Reihe ausführbarer Programme, synthetisieren Eingabe-Ausgabe-Transformationen für jedes Programm und zwingen LLMs dazu, die zugrunde liegenden Code-Implementierungen basierend auf den synthetischen I/O-Fällen zu erschließen. Zuerst bewerten wir repräsentative LLMs anhand der synthetisierten Case2Code-Aufgabe und zeigen, dass die Fall-zu-Code-Induktion für LLMs eine Herausforderung darstellt. Anschließend synthetisieren wir umfangreiche Case2Code-Trainingsdaten, um LLMs das Durchführen induktiven Denkens beizubringen. Experimentelle Ergebnisse zeigen, dass ein solches Induktions-Training nicht nur die Leistung bei der Case2Code-Verteilung verbessert, sondern auch verschiedene Kodierfähigkeiten der geschulten LLMs stärkt, was das große Potenzial des Lernens induktiven Denkens über synthetische Daten zeigt.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.