Case2Code: Обучение индуктивному рассуждению с синтетическими данными

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

Авторы: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

Аннотация

Сложное рассуждение - впечатляющая способность, проявляемая крупными языковыми моделями (LLM). Большинство LLM умело применяют дедуктивное мышление, такое как цепочка логических рассуждений или итеративное использование инструментов для пошагового решения сложных задач. В данной статье мы надеемся сосредоточиться на оценке и обучении LLM проведению индуктивного рассуждения, то есть LLM должны уметь делать выводы о скрытых правилах, наблюдая примеры или последовательные преобразования. Однако сбор крупномасштабных и разнообразных данных, созданных людьми для индукции, представляет определенные трудности. Мы фокусируемся на синтезе данных в области кода и предлагаем задачу Case2Code, используя выразительность и корректность программ. Конкретно, мы собираем разнообразный набор исполняемых программ, синтезируем преобразования ввода-вывода для каждой программы и заставляем LLM делать выводы о скрытых реализациях кода на основе синтетических случаев ввода-вывода. Сначала мы оцениваем представительные LLM на синтезированной задаче Case2Code и демонстрируем, что индукция от случая к коду является сложной для LLM. Затем мы синтезируем крупномасштабные обучающие выборки Case2Code для обучения LLM проведению индуктивного рассуждения. Экспериментальные результаты показывают, что такое обучение индукции положительно сказывается не только на производительности Case2Code в распределении, но также улучшает различные навыки программирования обученных LLM, демонстрируя большой потенциал обучения индуктивному рассуждению с использованием синтетических данных.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.