Table-GPT: GPT ottimizzato per tabelle per una varietà di attività tabellari

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Autori: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Abstract

I modelli linguistici, come GPT-3.5 e ChatGPT, dimostrano capacità notevoli nel seguire una vasta gamma di istruzioni umane e nell'eseguire un'ampia varietà di compiti. Tuttavia, quando si analizzano questi modelli linguistici utilizzando una serie di compiti di base legati alla comprensione delle tabelle, si osserva che i modelli linguistici attuali sono ancora subottimali in molti compiti relativi alle tabelle, probabilmente perché sono pre-addestrati principalmente su testi naturali unidimensionali, mentre le tabelle relazionali sono oggetti bidimensionali. In questo lavoro, proponiamo un nuovo paradigma di "table-tuning", in cui continuiamo ad addestrare/ottimizzare modelli linguistici come GPT-3.5 e ChatGPT, utilizzando come dati di addestramento una varietà di compiti legati alle tabelle sintetizzati da tabelle reali, con l'obiettivo di migliorare la capacità dei modelli linguistici di comprendere le tabelle e di eseguire compiti tabellari. Dimostriamo che i nostri modelli Table-GPT risultanti mostrano (1) migliori capacità di comprensione delle tabelle, superando costantemente i modelli vanilla GPT-3.5 e ChatGPT in un'ampia gamma di compiti tabellari, inclusi compiti non visti durante l'addestramento, e (2) una forte generalizzabilità, nella loro capacità di rispondere a diverse istruzioni umane per eseguire nuovi compiti tabellari, in modo simile a GPT-3.5 e ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.