Table-GPT: GPT ajustado para tabelas em tarefas diversas

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Autores: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Resumo

Modelos de linguagem, como o GPT-3.5 e o ChatGPT, demonstram habilidades notáveis para seguir diversas instruções humanas e executar uma ampla gama de tarefas. No entanto, ao investigar modelos de linguagem usando uma variedade de tarefas básicas de compreensão de tabelas, observamos que os modelos de linguagem atuais ainda são subótimos em muitas tarefas relacionadas a tabelas, provavelmente porque são pré-treinados predominantemente em textos unidimensionais de linguagem natural, enquanto tabelas relacionais são objetos bidimensionais. Neste trabalho, propomos um novo paradigma de "ajuste de tabela" (table-tuning), no qual continuamos a treinar/ajustar modelos de linguagem como o GPT-3.5 e o ChatGPT, utilizando diversas tarefas de tabela sintetizadas a partir de tabelas reais como dados de treinamento, com o objetivo de aprimorar a capacidade dos modelos de linguagem de compreender tabelas e executar tarefas relacionadas a elas. Mostramos que nossos modelos Table-GPT resultantes demonstram (1) melhores capacidades de compreensão de tabelas, superando consistentemente o GPT-3.5 e o ChatGPT originais em uma ampla gama de tarefas de tabela, incluindo tarefas não vistas durante o treinamento, e (2) forte generalização, em sua capacidade de responder a diversas instruções humanas para executar novas tarefas de tabela, de maneira semelhante ao GPT-3.5 e ao ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.