Cadena-de-Tablas: Evolución de Tablas en la Cadena de Razonamiento para la Comprensión de Tablas

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

Autores: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

Resumen

El razonamiento basado en tablas con modelos de lenguaje de gran escala (LLMs) es una dirección prometedora para abordar muchas tareas de comprensión de tablas, como la respuesta a preguntas basadas en tablas y la verificación de hechos. En comparación con el razonamiento genérico, el razonamiento basado en tablas requiere la extracción de semántica subyacente tanto de preguntas en lenguaje natural como de datos tabulares semiestructurados. El enfoque de Cadena de Pensamiento (Chain-of-Thought) y otros similares incorporan la cadena de razonamiento en forma de contexto textual, pero sigue siendo una pregunta abierta cómo aprovechar eficazmente los datos tabulares en la cadena de razonamiento. Proponemos el marco de Cadena de Tablas (Chain-of-Table), donde los datos tabulares se utilizan explícitamente en la cadena de razonamiento como un proxy para pensamientos intermedios. Específicamente, guiamos a los LLMs mediante aprendizaje en contexto para generar iterativamente operaciones y actualizar la tabla, representando así una cadena de razonamiento tabular. Los LLMs pueden, por tanto, planificar dinámicamente la siguiente operación basándose en los resultados de las anteriores. Esta evolución continua de la tabla forma una cadena que muestra el proceso de razonamiento para un problema tabular dado. La cadena contiene información estructurada de los resultados intermedios, permitiendo predicciones más precisas y confiables. Cadena de Tablas logra un nuevo rendimiento de vanguardia en los benchmarks de WikiTQ, FeTaQA y TabFact, utilizando múltiples opciones de LLMs.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.