Chaîne-de-Table : Évolution des tableaux dans la chaîne de raisonnement pour la compréhension des tableaux

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

Auteurs: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

Résumé

Le raisonnement basé sur les tables avec les grands modèles de langage (LLMs) est une direction prometteuse pour aborder de nombreuses tâches de compréhension des tables, telles que la réponse à des questions basées sur des tables et la vérification de faits. Par rapport au raisonnement générique, le raisonnement basé sur les tables nécessite l'extraction de la sémantique sous-jacente à la fois à partir de questions en langage naturel et de données tabulaires semi-structurées. La méthode Chain-of-Thought et ses approches similaires intègrent la chaîne de raisonnement sous forme de contexte textuel, mais il reste une question ouverte de savoir comment exploiter efficacement les données tabulaires dans la chaîne de raisonnement. Nous proposons le cadre Chain-of-Table, où les données tabulaires sont explicitement utilisées dans la chaîne de raisonnement comme un proxy pour les pensées intermédiaires. Plus précisément, nous guidons les LLMs en utilisant l'apprentissage en contexte pour générer itérativement des opérations et mettre à jour la table afin de représenter une chaîne de raisonnement tabulaire. Les LLMs peuvent ainsi planifier dynamiquement la prochaine opération en fonction des résultats des précédentes. Cette évolution continue de la table forme une chaîne, montrant le processus de raisonnement pour un problème tabulaire donné. La chaîne porte des informations structurées sur les résultats intermédiaires, permettant des prédictions plus précises et fiables. Chain-of-Table atteint de nouvelles performances de pointe sur les benchmarks WikiTQ, FeTaQA et TabFact pour plusieurs choix de LLMs.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.