Цепочка таблиц: Эволюция таблиц в цепочке рассуждений для понимания табличных данных

Аннотация

Табличное рассуждение с использованием больших языковых моделей (LLM) представляет собой перспективное направление для решения множества задач, связанных с пониманием таблиц, таких как ответы на вопросы на основе таблиц и проверка фактов. В отличие от общего рассуждения, табличное рассуждение требует извлечения скрытой семантики как из свободно сформулированных вопросов, так и из полуструктурированных табличных данных. Подходы, такие как Chain-of-Thought и их аналоги, включают цепочку рассуждений в виде текстового контекста, однако вопрос о том, как эффективно использовать табличные данные в цепочке рассуждений, остается открытым. Мы предлагаем фреймворк Chain-of-Table, в котором табличные данные явно используются в цепочке рассуждений в качестве промежуточных мыслей. В частности, мы направляем LLM с помощью обучения в контексте, чтобы итеративно генерировать операции и обновлять таблицу, представляя таким образом цепочку табличного рассуждения. LLM могут динамически планировать следующую операцию на основе результатов предыдущих. Это непрерывное изменение таблицы формирует цепочку, показывающую процесс рассуждения для данной табличной задачи. Цепочка содержит структурированную информацию о промежуточных результатах, что позволяет делать более точные и надежные прогнозы. Chain-of-Table демонстрирует новое состояние искусства на бенчмарках WikiTQ, FeTaQA и TabFact для различных вариантов LLM.

English

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.

Цепочка таблиц: Эволюция таблиц в цепочке рассуждений для понимания табличных данных

Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

Аннотация

Support