Chain-of-Table: Entwicklung von Tabellen in der Argumentationskette für das Tabellenverständnis

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

Autoren: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

Zusammenfassung

Tabellenbasiertes Reasoning mit großen Sprachmodellen (LLMs) ist ein vielversprechender Ansatz, um viele Aufgaben im Bereich des Tabellenverständnisses zu bewältigen, wie z. B. tabellenbasierte Fragebeantwortung und Faktenüberprüfung. Im Vergleich zu generischem Reasoning erfordert tabellenbasiertes Reasoning die Extraktion zugrunde liegender Semantik sowohl aus freiformulierten Fragen als auch aus semi-strukturierten Tabellendaten. Chain-of-Thought und ähnliche Ansätze integrieren die Reasoning-Kette in Form von textuellen Kontexten, aber es bleibt eine offene Frage, wie Tabellendaten effektiv in die Reasoning-Kette einbezogen werden können. Wir schlagen das Chain-of-Table-Framework vor, bei dem Tabellendaten explizit in der Reasoning-Kette als Stellvertreter für Zwischengedanken verwendet werden. Konkret leiten wir LLMs durch In-Context-Learning an, um iterativ Operationen zu generieren und die Tabelle zu aktualisieren, um eine tabellenbasierte Reasoning-Kette darzustellen. LLMs können somit dynamisch die nächste Operation basierend auf den Ergebnissen der vorherigen planen. Diese kontinuierliche Weiterentwicklung der Tabelle bildet eine Kette, die den Reasoning-Prozess für ein gegebenes tabellenbasiertes Problem zeigt. Die Kette trägt strukturierte Informationen der Zwischenergebnisse, was genauere und zuverlässigere Vorhersagen ermöglicht. Chain-of-Table erreicht neue State-of-the-Art-Leistungen auf den Benchmarks WikiTQ, FeTaQA und TabFact über mehrere LLM-Auswahlmöglichkeiten hinweg.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.