Table-GPT : GPT adapté aux tableaux pour diverses tâches tabulaires

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Auteurs: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Résumé

Les modèles de langage, tels que GPT-3.5 et ChatGPT, démontrent des capacités remarquables à suivre des instructions humaines variées et à accomplir un large éventail de tâches. Cependant, lorsqu'on explore ces modèles de langage à l'aide d'une série de tâches élémentaires de compréhension de tableaux, on observe que les modèles actuels restent sous-optimaux pour de nombreuses tâches liées aux tableaux, probablement parce qu'ils sont pré-entraînés principalement sur des textes en langage naturel unidimensionnels, alors que les tableaux relationnels sont des objets bidimensionnels. Dans ce travail, nous proposons un nouveau paradigme d'"ajustement sur tableaux" (table-tuning), où nous continuons à entraîner/affiner des modèles de langage comme GPT-3.5 et ChatGPT, en utilisant des tâches variées synthétisées à partir de tableaux réels comme données d'entraînement, dans le but d'améliorer la capacité des modèles de langage à comprendre les tableaux et à effectuer des tâches liées aux tableaux. Nous montrons que nos modèles Table-GPT résultants démontrent (1) de meilleures capacités de compréhension des tableaux, en surpassant systématiquement les versions standard de GPT-3.5 et ChatGPT sur un large éventail de tâches de tableaux, y compris des tâches inédites non vues lors de l'entraînement, et (2) une forte généralisation, dans leur capacité à répondre à des instructions humaines variées pour effectuer de nouvelles tâches de tableaux, d'une manière similaire à GPT-3.5 et ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.