Table-GPT: GPT afgestemd op tabellen voor diverse tabeltaken

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Auteurs: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Samenvatting

Taalmodellen, zoals GPT-3.5 en ChatGPT, tonen opmerkelijke vaardigheden in het volgen van diverse menselijke instructies en het uitvoeren van een breed scala aan taken. Wanneer we echter taalmodellen testen met een reeks basistaken voor tabelbegrip, zien we dat de huidige taalmodellen nog steeds suboptimaal presteren bij veel tabelgerelateerde taken. Dit komt waarschijnlijk omdat ze voornamelijk zijn voorgetraind op eendimensionale natuurlijke teksten, terwijl relationele tabellen tweedimensionale objecten zijn. In dit werk stellen we een nieuw "table-tuning"-paradigma voor, waarbij we taalmodellen zoals GPT-3.5 en ChatGPT verder trainen/finetunen met behulp van diverse tabeltaken die zijn gesynthetiseerd uit echte tabellen als trainingsdata. Het doel is om het vermogen van taalmodellen om tabellen te begrijpen en tabeltaken uit te voeren te verbeteren. We laten zien dat onze resulterende Table-GPT-modellen (1) betere tabelbegripvaardigheden demonstreren door consequent beter te presteren dan de standaard GPT-3.5 en ChatGPT bij een breed scala aan tabeltaken, inclusief onbekende taken, en (2) sterke generaliseerbaarheid tonen in hun vermogen om te reageren op diverse menselijke instructies om nieuwe tabeltaken uit te voeren, op een manier die vergelijkbaar is met GPT-3.5 en ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.