Chain-of-Table: 表理解のための推論チェーンにおける表の進化

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

著者: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

要旨

大規模言語モデル（LLM）を用いた表形式推論は、表形式質問応答や事実検証など、多くの表理解タスクに取り組むための有望な方向性です。一般的な推論と比較して、表形式推論では、自由形式の質問と半構造化された表形式データの両方から潜在的な意味を抽出する必要があります。Chain-of-Thoughtやその類似アプローチでは、推論チェーンをテキストコンテキストの形で組み込みますが、推論チェーンにおいて表形式データを効果的に活用する方法は未解決の問題です。本論文では、Chain-of-Tableフレームワークを提案します。このフレームワークでは、表形式データが推論チェーンにおいて中間思考のプロキシとして明示的に使用されます。具体的には、インコンテキスト学習を用いてLLMをガイドし、操作を反復的に生成し、表を更新することで表形式推論チェーンを表現します。これにより、LLMは前の操作の結果に基づいて次の操作を動的に計画できます。この表の連続的な進化がチェーンを形成し、与えられた表形式問題に対する推論プロセスを示します。このチェーンは中間結果の構造化情報を保持し、より正確で信頼性の高い予測を可能にします。Chain-of-Tableは、複数のLLM選択肢において、WikiTQ、FeTaQA、TabFactベンチマークで新たな最先端の性能を達成しました。

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.