Table-GPT: GPT ajustado para tablas en diversas tareas tabulares

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Autores: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Resumen

Los modelos de lenguaje, como GPT-3.5 y ChatGPT, demuestran habilidades notables para seguir diversas instrucciones humanas y realizar una amplia gama de tareas. Sin embargo, al evaluar estos modelos utilizando una variedad de tareas básicas de comprensión de tablas, observamos que los modelos de lenguaje actuales aún son subóptimos en muchas tareas relacionadas con tablas, probablemente porque están preentrenados principalmente en textos unidimensionales de lenguaje natural, mientras que las tablas relacionales son objetos bidimensionales. En este trabajo, proponemos un nuevo paradigma de "ajuste de tablas" (table-tuning), donde continuamos entrenando/ajustando modelos de lenguaje como GPT-3.5 y ChatGPT, utilizando diversas tareas de tablas sintetizadas a partir de tablas reales como datos de entrenamiento, con el objetivo de mejorar la capacidad de los modelos de lenguaje para comprender tablas y realizar tareas relacionadas con ellas. Demostramos que nuestros modelos resultantes, Table-GPT, exhiben (1) mejores capacidades de comprensión de tablas, superando consistentemente a GPT-3.5 y ChatGPT en una amplia gama de tareas de tablas, incluidas tareas no vistas durante el entrenamiento, y (2) una fuerte generalización, en su capacidad para responder a diversas instrucciones humanas para realizar nuevas tareas de tablas, de manera similar a GPT-3.5 y ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.