Case2Code: 合成データを用いた帰納的推論の学習

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

著者: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

要旨

大規模言語モデル（LLMs）が示す複雑な推論能力は非常に印象的です。ほとんどのLLMは、連鎖思考プロンプティングや反復的なツール使用など、段階的に難しい課題を解決する演繹的推論に長けています。本論文では、LLMが帰納的推論を行う能力を評価し、教えることに焦点を当てたいと考えています。つまり、LLMは例や連続的な変換を観察することで、背後にある規則を推論することが求められます。しかし、大規模で多様な人間が生成した帰納的データを収集することは困難です。私たちはコード領域におけるデータ合成に焦点を当て、プログラムの表現力と正確性を活用してCase2Codeタスクを提案します。具体的には、多様な実行可能なプログラムを収集し、各プログラムに対して入出力変換を合成し、LLMに合成されたI/Oケースに基づいて背後にあるコード実装を推論させます。まず、代表的なLLMを合成されたCase2Codeタスクで評価し、Case-to-code帰納がLLMにとって難しいことを示します。その後、大規模なCase2Codeトレーニングサンプルを合成し、LLMに帰納的推論を実行させるためのトレーニングを行います。実験結果は、このような帰納的トレーニングが、分布内のCase2Code性能だけでなく、トレーニングされたLLMのさまざまなコーディング能力も向上させることを示しており、合成データを通じて帰納的推論を学ぶことの大きな可能性を実証しています。

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.