TableGPT: Hacia la unificación de tablas, lenguaje natural y comandos en un solo GPT

TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT

July 17, 2023

Autores: Liangyu Zha, Junlin Zhou, Liyao Li, Rui Wang, Qingyi Huang, Saisai Yang, Jing Yuan, Changbao Su, Xiang Li, Aofeng Su, Tao Zhang, Chen Zhou, Kaizhe Shou, Miao Wang, Wufang Zhu, Guoshan Lu, Chao Ye, Yali Ye, Wentao Ye, Yiming Zhang, Xinglong Deng, Jie Xu, Haobo Wang, Gang Chen, Junbo Zhao

cs.AI

Resumen

Las tablas son omnipresentes en las bases de datos del mundo real, requiriendo un tiempo y esfuerzo significativos para que los humanos las analicen y manipulen. Los avances en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han hecho posible interactuar con tablas utilizando entradas de lenguaje natural, acercando esta capacidad a la realidad. En este artículo, presentamos TableGPT, un marco unificado y ajustado que permite a los LLMs comprender y operar sobre tablas utilizando comandos funcionales externos. Introduce la capacidad de interactuar de manera fluida con tablas, permitiendo una amplia gama de funcionalidades como respuesta a preguntas, manipulación de datos (por ejemplo, operaciones de inserción, eliminación, consulta y modificación), visualización de datos, generación de informes de análisis y predicción automatizada. TableGPT tiene como objetivo brindar comodidad y accesibilidad a los usuarios al capacitarlos para aprovechar sin esfuerzo los datos tabulares. En el núcleo de TableGPT se encuentra el concepto novedoso de representaciones tabulares globales, que permite a los LLMs obtener una comprensión integral de toda la tabla más allá de la meta-información. Al entrenar conjuntamente los LLMs en las modalidades de tabla y texto, TableGPT logra una comprensión profunda de los datos tabulares y la capacidad de realizar operaciones complejas sobre las tablas a través de instrucciones en cadena de comandos. Es importante destacar que TableGPT ofrece la ventaja de ser un sistema autónomo en lugar de depender de interfaces API externas. Además, admite un flujo de procesamiento de datos eficiente, rechazo de consultas (cuando es apropiado) y despliegue privado, lo que permite un ajuste más rápido de los datos del dominio y garantiza la privacidad de los datos, lo que mejora la adaptabilidad del marco a casos de uso específicos.

English

Tables are prevalent in real-world databases, requiring significant time and effort for humans to analyze and manipulate. The advancements in large language models (LLMs) have made it possible to interact with tables using natural language input, bringing this capability closer to reality. In this paper, we present TableGPT, a unified fine-tuned framework that enables LLMs to understand and operate on tables using external functional commands. It introduces the capability to seamlessly interact with tables, enabling a wide range of functionalities such as question answering, data manipulation (e.g., insert, delete, query, and modify operations), data visualization, analysis report generation, and automated prediction. TableGPT aims to provide convenience and accessibility to users by empowering them to effortlessly leverage tabular data. At the core of TableGPT lies the novel concept of global tabular representations, which empowers LLMs to gain a comprehensive understanding of the entire table beyond meta-information. By jointly training LLMs on both table and text modalities, TableGPT achieves a deep understanding of tabular data and the ability to perform complex operations on tables through chain-of-command instructions. Importantly, TableGPT offers the advantage of being a self-contained system rather than relying on external API interfaces. Moreover, it supports efficient data process flow, query rejection (when appropriate) and private deployment, enabling faster domain data fine-tuning and ensuring data privacy, which enhances the framework's adaptability to specific use cases.