Chain-of-Table: 테이블 이해를 위한 추론 체인에서 테이블의 진화

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

January 9, 2024

저자: Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister

cs.AI

초록

테이블 기반 추론은 대형 언어 모델(LLM)을 활용하여 테이블 기반 질의응답 및 사실 검증과 같은 다양한 테이블 이해 작업을 해결하기 위한 유망한 방향입니다. 일반적인 추론과 비교하여, 테이블 기반 추론은 자유 형식의 질문과 반구조화된 테이블 데이터로부터 내재된 의미를 추출해야 합니다. Chain-of-Thought 및 유사한 접근 방식은 텍스트 컨텍스트 형태로 추론 체인을 통합하지만, 테이블 데이터를 추론 체인에서 효과적으로 활용하는 방법은 여전히 해결되지 않은 문제입니다. 우리는 Chain-of-Table 프레임워크를 제안하며, 여기서 테이블 데이터는 중간 사고의 대리자로서 추론 체인에 명시적으로 사용됩니다. 구체적으로, 우리는 LLM을 컨텍스트 내 학습을 통해 반복적으로 연산을 생성하고 테이블을 업데이트하여 테이블 추론 체인을 표현하도록 유도합니다. 이를 통해 LLM은 이전 연산의 결과를 기반으로 다음 연산을 동적으로 계획할 수 있습니다. 테이블의 이러한 지속적인 진화는 주어진 테이블 문제에 대한 추론 과정을 보여주는 체인을 형성합니다. 이 체인은 중간 결과의 구조화된 정보를 포함하여 더 정확하고 신뢰할 수 있는 예측을 가능하게 합니다. Chain-of-Table은 WikiTQ, FeTaQA 및 TabFact 벤치마크에서 여러 LLM 선택에 걸쳐 새로운 최첨단 성능을 달성했습니다.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.