TableGPT: Rumo à Unificação de Tabelas, Linguagem Natural e Comandos em um Único GPT
TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
July 17, 2023
Autores: Liangyu Zha, Junlin Zhou, Liyao Li, Rui Wang, Qingyi Huang, Saisai Yang, Jing Yuan, Changbao Su, Xiang Li, Aofeng Su, Tao Zhang, Chen Zhou, Kaizhe Shou, Miao Wang, Wufang Zhu, Guoshan Lu, Chao Ye, Yali Ye, Wentao Ye, Yiming Zhang, Xinglong Deng, Jie Xu, Haobo Wang, Gang Chen, Junbo Zhao
cs.AI
Resumo
Tabelas são predominantes em bancos de dados do mundo real, exigindo tempo e esforço significativos para que humanos as analisem e manipulem. Os avanços em modelos de linguagem de grande escala (LLMs) tornaram possível interagir com tabelas usando entrada de linguagem natural, aproximando essa capacidade da realidade. Neste artigo, apresentamos o TableGPT, um framework unificado e ajustado que permite que LLMs compreendam e operem em tabelas usando comandos funcionais externos. Ele introduz a capacidade de interagir de forma contínua com tabelas, permitindo uma ampla gama de funcionalidades, como resposta a perguntas, manipulação de dados (por exemplo, operações de inserção, exclusão, consulta e modificação), visualização de dados, geração de relatórios de análise e previsão automatizada. O TableGPT visa proporcionar conveniência e acessibilidade aos usuários, capacitando-os a aproveitar dados tabulares de forma simples. No cerne do TableGPT está o conceito inovador de representações tabulares globais, que capacita os LLMs a obter uma compreensão abrangente de toda a tabela, indo além das meta-informações. Ao treinar conjuntamente LLMs em modalidades de tabela e texto, o TableGPT alcança um entendimento profundo de dados tabulares e a capacidade de realizar operações complexas em tabelas por meio de instruções em cadeia de comandos. Importante destacar que o TableGPT oferece a vantagem de ser um sistema autossuficiente, em vez de depender de interfaces de API externas. Além disso, ele suporta um fluxo eficiente de processamento de dados, rejeição de consultas (quando apropriado) e implantação privada, permitindo ajustes rápidos de dados de domínio e garantindo a privacidade dos dados, o que aumenta a adaptabilidade do framework a casos de uso específicos.
English
Tables are prevalent in real-world databases, requiring significant time and
effort for humans to analyze and manipulate. The advancements in large language
models (LLMs) have made it possible to interact with tables using natural
language input, bringing this capability closer to reality. In this paper, we
present TableGPT, a unified fine-tuned framework that enables LLMs to
understand and operate on tables using external functional commands. It
introduces the capability to seamlessly interact with tables, enabling a wide
range of functionalities such as question answering, data manipulation (e.g.,
insert, delete, query, and modify operations), data visualization, analysis
report generation, and automated prediction. TableGPT aims to provide
convenience and accessibility to users by empowering them to effortlessly
leverage tabular data. At the core of TableGPT lies the novel concept of global
tabular representations, which empowers LLMs to gain a comprehensive
understanding of the entire table beyond meta-information. By jointly training
LLMs on both table and text modalities, TableGPT achieves a deep understanding
of tabular data and the ability to perform complex operations on tables through
chain-of-command instructions. Importantly, TableGPT offers the advantage of
being a self-contained system rather than relying on external API interfaces.
Moreover, it supports efficient data process flow, query rejection (when
appropriate) and private deployment, enabling faster domain data fine-tuning
and ensuring data privacy, which enhances the framework's adaptability to
specific use cases.