Table-GPT: 多様なテーブルタスク向けにチューニングされたGPT

要旨

GPT-3.5やChatGPTのような言語モデルは、多様な人間の指示に従い、幅広いタスクを遂行する驚くべき能力を示します。しかし、基本的な表理解タスクを用いて言語モデルを調査すると、現在の言語モデルは多くの表関連タスクにおいて依然として最適ではないことが観察されます。これは、おそらく言語モデルが主に一次元の自然言語テキストで事前学習されているのに対し、リレーショナルテーブルは二次元のオブジェクトであるためと考えられます。本研究では、新しい「テーブルチューニング」パラダイムを提案します。このパラダイムでは、GPT-3.5やChatGPTのような言語モデルを、実際のテーブルから合成された多様なテーブルタスクを訓練データとして用いて継続的に訓練/ファインチューニングし、言語モデルのテーブル理解能力とテーブルタスク遂行能力を向上させることを目指します。その結果得られたTable-GPTモデルは、(1) 幅広いテーブルタスク（未見のタスクを含む）において、従来のGPT-3.5やChatGPTを一貫して上回る優れたテーブル理解能力を示し、(2) GPT-3.5やChatGPTと同様に、多様な人間の指示に応じて新しいテーブルタスクを遂行する強力な汎化能力を有することを示します。

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.

Table-GPT: 多様なテーブルタスク向けにチューニングされたGPT

Table-GPT: Table-tuned GPT for Diverse Table Tasks

要旨

Support