Case2Code: Aprendizaje de Razonamiento Inductivo con Datos Sintéticos

Case2Code: Learning Inductive Reasoning with Synthetic Data

July 17, 2024

Autores: Yunfan Shao, Linyang Li, Yichuan Ma, Peiji Li, Demin Song, Qinyuan Cheng, Shimin Li, Xiaonan Li, Pengyu Wang, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

cs.AI

Resumen

El razonamiento complejo es una habilidad impresionante demostrada por los grandes modelos de lenguaje (LLMs). La mayoría de los LLMs son hábiles en el razonamiento deductivo, como la generación de cadenas de pensamiento o el uso iterativo de herramientas para resolver tareas desafiantes paso a paso. En este documento, esperamos centrarnos en evaluar y enseñar a los LLMs a llevar a cabo el razonamiento inductivo, es decir, se supone que los LLMs deben inferir reglas subyacentes observando ejemplos o transformaciones secuenciales. Sin embargo, recopilar datos inductivos generados por humanos a gran escala y diversos es un desafío. Nos enfocamos en la síntesis de datos en el dominio del código y proponemos una tarea Case2Code aprovechando la expresividad y corrección de los programas. Específicamente, recopilamos un conjunto diverso de programas ejecutables, sintetizamos transformaciones de entrada-salida para cada programa y obligamos a los LLMs a inferir las implementaciones de código subyacentes basadas en los casos de E/S sintéticos. Primero evaluamos LLMs representativos en la tarea sintetizada Case2Code y demostramos que la inducción de caso a código es desafiante para los LLMs. Luego, sintetizamos muestras de entrenamiento de Case2Code a gran escala para entrenar a los LLMs en el razonamiento inductivo. Los resultados experimentales muestran que dicho entrenamiento de inducción beneficia no solo en el rendimiento en Case2Code de distribución, sino que también mejora varias habilidades de codificación de los LLMs entrenados, demostrando el gran potencial del aprendizaje del razonamiento inductivo a través de datos sintéticos.

English

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a Case2Code task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.