Text2SQL no es Suficiente: Unificando la IA y las Bases de Datos con TAG

Text2SQL is Not Enough: Unifying AI and Databases with TAG

August 27, 2024

Autores: Asim Biswal, Liana Patel, Siddarth Jha, Amog Kamsetty, Shu Liu, Joseph E. Gonzalez, Carlos Guestrin, Matei Zaharia

cs.AI

Resumen

Los sistemas de IA que responden preguntas en lenguaje natural sobre bases de datos prometen desbloquear un valor tremendo. Tales sistemas permitirían a los usuarios aprovechar el poderoso razonamiento y las capacidades de conocimiento de los modelos de lenguaje (LMs) junto con la escalabilidad computacional de los sistemas de gestión de datos. Estas capacidades combinadas capacitarían a los usuarios para hacer preguntas arbitrarias en lenguaje natural sobre fuentes de datos personalizadas. Sin embargo, los métodos y benchmarks existentes exploran de manera insuficiente este escenario. Los métodos Text2SQL se centran únicamente en preguntas en lenguaje natural que pueden expresarse en álgebra relacional, representando un pequeño subconjunto de las preguntas que los usuarios reales desean hacer. Del mismo modo, Retrieval-Augmented Generation (RAG) considera el subconjunto limitado de consultas que pueden responderse con búsquedas puntuales en uno o unos pocos registros de datos dentro de la base de datos. Proponemos Table-Augmented Generation (TAG), un paradigma unificado y de propósito general para responder preguntas en lenguaje natural sobre bases de datos. El modelo TAG representa una amplia gama de interacciones entre el LM y la base de datos que no se han explorado previamente y crea emocionantes oportunidades de investigación para aprovechar el conocimiento mundial y las capacidades de razonamiento de los LMs sobre los datos. Desarrollamos sistemáticamente benchmarks para estudiar el problema TAG y encontramos que los métodos estándar responden correctamente a no más del 20% de las consultas, confirmando la necesidad de una mayor investigación en esta área. Publicamos el código del benchmark en https://github.com/TAG-Research/TAG-Bench.

English

AI systems that serve natural language questions over databases promise to unlock tremendous value. Such systems would allow users to leverage the powerful reasoning and knowledge capabilities of language models (LMs) alongside the scalable computational power of data management systems. These combined capabilities would empower users to ask arbitrary natural language questions over custom data sources. However, existing methods and benchmarks insufficiently explore this setting. Text2SQL methods focus solely on natural language questions that can be expressed in relational algebra, representing a small subset of the questions real users wish to ask. Likewise, Retrieval-Augmented Generation (RAG) considers the limited subset of queries that can be answered with point lookups to one or a few data records within the database. We propose Table-Augmented Generation (TAG), a unified and general-purpose paradigm for answering natural language questions over databases. The TAG model represents a wide range of interactions between the LM and database that have been previously unexplored and creates exciting research opportunities for leveraging the world knowledge and reasoning capabilities of LMs over data. We systematically develop benchmarks to study the TAG problem and find that standard methods answer no more than 20% of queries correctly, confirming the need for further research in this area. We release code for the benchmark at https://github.com/TAG-Research/TAG-Bench.