Chain-of-Table: Evoluzione delle Tabelle nella Catena di Ragionamento per la Comprensione delle Tabelle

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

Autori: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

Abstract

Il ragionamento basato su tabelle con modelli linguistici di grandi dimensioni (LLM) rappresenta una direzione promettente per affrontare numerosi compiti di comprensione delle tabelle, come il question answering basato su tabelle e la verifica di fatti. Rispetto al ragionamento generico, il ragionamento basato su tabelle richiede l'estrazione della semantica sottostante sia da domande in linguaggio libero che da dati tabellari semi-strutturati. Il Chain-of-Thought e approcci simili incorporano la catena di ragionamento sotto forma di contesto testuale, ma rimane una questione aperta come sfruttare efficacemente i dati tabellari nella catena di ragionamento. Proponiamo il framework Chain-of-Table, in cui i dati tabellari vengono esplicitamente utilizzati nella catena di ragionamento come proxy per pensieri intermedi. Nello specifico, guidiamo gli LLM utilizzando l'apprendimento in contesto per generare iterativamente operazioni e aggiornare la tabella per rappresentare una catena di ragionamento tabellare. Gli LLM possono quindi pianificare dinamicamente l'operazione successiva in base ai risultati delle precedenti. Questa evoluzione continua della tabella forma una catena, mostrando il processo di ragionamento per un dato problema tabellare. La catena trasporta informazioni strutturate sui risultati intermedi, consentendo previsioni più accurate e affidabili. Chain-of-Table raggiunge nuove prestazioni all'avanguardia sui benchmark WikiTQ, FeTaQA e TabFact con diverse scelte di LLM.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.