Chain-of-Table: Het Evolueren van Tabellen in de Redeneerketen voor Tabelbegrip

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

Auteurs: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

Samenvatting

Tabelgebaseerd redeneren met grote taalmodellen (LLMs) is een veelbelovende richting om veel tabelbegriptaken aan te pakken, zoals tabelgebaseerde vraagbeantwoording en feitenverificatie. In vergelijking met generiek redeneren, vereist tabelgebaseerd redeneren de extractie van onderliggende semantiek uit zowel vrije-vorm vragen als semi-gestructureerde tabelgegevens. Chain-of-Thought en vergelijkbare benaderingen integreren de redeneerketen in de vorm van tekstuele context, maar het blijft een open vraag hoe tabelgegevens effectief kunnen worden benut in de redeneerketen. Wij stellen het Chain-of-Table raamwerk voor, waarbij tabelgegevens expliciet worden gebruikt in de redeneerketen als een proxy voor tussenliggende gedachten. Specifiek leiden we LLMs met in-context leren om iteratief bewerkingen te genereren en de tabel bij te werken om een tabelgebaseerde redeneerketen weer te geven. LLMs kunnen daarom dynamisch de volgende bewerking plannen op basis van de resultaten van de vorige. Deze continue evolutie van de tabel vormt een keten, die het redeneerproces voor een gegeven tabelprobleem toont. De keten draagt gestructureerde informatie van de tussenliggende resultaten met zich mee, wat nauwkeurigere en betrouwbaardere voorspellingen mogelijk maakt. Chain-of-Table behaalt nieuwe state-of-the-art prestaties op de WikiTQ, FeTaQA en TabFact benchmarks voor meerdere LLM-keuzes.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.