Case2Code: 합성 데이터를 활용한 귀납적 추론 학습

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

저자: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

초록

복잡한 추론은 대형 언어 모델(LLM)이 보여주는 인상적인 능력 중 하나입니다. 대부분의 LLM은 사고의 연쇄(chain-of-thought) 프롬프팅이나 반복적인 도구 사용과 같은 연역적 추론에 능숙하여 어려운 과제를 단계적으로 해결할 수 있습니다. 본 논문에서는 LLM이 귀납적 추론을 수행하도록 평가하고 가르치는 데 초점을 맞추고자 합니다. 즉, LLM이 예시나 순차적 변환을 관찰하여 내재된 규칙을 추론할 수 있어야 합니다. 그러나 대규모이고 다양한 인간 생성 귀납 데이터를 수집하는 것은 어려운 과제입니다. 우리는 코드 도메인에서의 데이터 합성에 초점을 맞추고 프로그램의 표현력과 정확성을 활용하여 Case2Code 과제를 제안합니다. 구체적으로, 우리는 다양한 실행 가능한 프로그램을 수집하고 각 프로그램에 대한 입력-출력 변환을 합성한 후, LLM이 합성된 I/O 사례를 기반으로 내재된 코드 구현을 추론하도록 강제합니다. 먼저, 합성된 Case2Code 과제에서 대표적인 LLM을 평가하고, 사례에서 코드로의 귀납이 LLM에게 어려운 과제임을 입증합니다. 그런 다음, 대규모의 Case2Code 훈련 샘플을 합성하여 LLM이 귀납적 추론을 수행하도록 훈련시킵니다. 실험 결과는 이러한 귀납 훈련이 분포 내 Case2Code 성능뿐만 아니라 훈련된 LLM의 다양한 코딩 능력을 향상시키는 데 도움이 됨을 보여주며, 합성 데이터를 통해 귀납적 추론을 학습하는 것의 큰 잠재력을 입증합니다.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.