Table-GPT: GPT für Tabellenoptimierung für vielfältige Tabellenaufgaben

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Autoren: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Zusammenfassung

Sprachmodelle wie GPT-3.5 und ChatGPT zeigen bemerkenswerte Fähigkeiten, vielfältige menschliche Anweisungen zu befolgen und eine breite Palette von Aufgaben zu erledigen. Allerdings stellen wir fest, dass heutige Sprachmodelle bei der Untersuchung mit einer Reihe von grundlegenden Tabellenverständnisaufgaben in vielen tabellenbezogenen Aufgaben noch suboptimal sind. Dies liegt wahrscheinlich daran, dass sie überwiegend auf eindimensionalen natürlichen Sprachtexten vortrainiert werden, während relationale Tabellen zweidimensionale Objekte sind. In dieser Arbeit schlagen wir ein neues „Table-Tuning“-Paradigma vor, bei dem wir Sprachmodelle wie GPT-3.5 und ChatGPT weiter trainieren bzw. feinabstimmen, indem wir vielfältige Tabellenaufgaben, die aus realen Tabellen synthetisiert wurden, als Trainingsdaten verwenden. Ziel ist es, die Fähigkeit der Sprachmodelle, Tabellen zu verstehen und Tabellenaufgaben durchzuführen, zu verbessern. Wir zeigen, dass unsere daraus resultierenden Table-GPT-Modelle (1) bessere Tabellenverständnisfähigkeiten aufweisen, indem sie durchweg bessere Leistungen als das Standard-GPT-3.5 und ChatGPT bei einer breiten Palette von Tabellenaufgaben, einschließlich bisher unbekannter Aufgaben, erzielen, und (2) eine starke Generalisierbarkeit besitzen, indem sie in der Lage sind, auf vielfältige menschliche Anweisungen zu reagieren, um neue Tabellenaufgaben in einer Weise ähnlich wie GPT-3.5 und ChatGPT durchzuführen.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.