Table-GPT: GPT, адаптированный для работы с таблицами и решения разнообразных табличных задач

Table-GPT: Table-tuned GPT for Diverse Table Tasks

October 13, 2023

Авторы: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri

cs.AI

Аннотация

Языковые модели, такие как GPT-3.5 и ChatGPT, демонстрируют впечатляющие способности следовать разнообразным инструкциям человека и выполнять широкий спектр задач. Однако при тестировании языковых моделей на различных базовых задачах, связанных с пониманием таблиц, мы наблюдаем, что современные языковые модели всё ещё неоптимальны во многих задачах, связанных с таблицами. Вероятно, это связано с тем, что они предварительно обучаются преимущественно на одномерных текстах естественного языка, тогда как реляционные таблицы представляют собой двумерные объекты. В данной работе мы предлагаем новую парадигму "настройки на таблицы" (table-tuning), в рамках которой мы продолжаем обучать/дообучать языковые модели, такие как GPT-3.5 и ChatGPT, используя разнообразные задачи, синтезированные из реальных таблиц, в качестве обучающих данных. Целью является улучшение способности языковых моделей понимать таблицы и выполнять задачи, связанные с ними. Мы показываем, что полученные модели Table-GPT демонстрируют (1) лучшие способности к пониманию таблиц, стабильно превосходя базовые GPT-3.5 и ChatGPT на широком спектре задач, включая ранее не встречавшиеся задачи, и (2) сильную обобщаемость, выражающуюся в способности реагировать на разнообразные инструкции человека для выполнения новых задач, связанных с таблицами, аналогично GPT-3.5 и ChatGPT.

English

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on one-dimensional natural-language texts, whereas relational tables are two-dimensional objects. In this work, we propose a new "table-tuning" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better table-understanding capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong generalizability, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.