Text2SQL non è sufficiente: unificare l'IA e i database con TAG.

Text2SQL is Not Enough: Unifying AI and Databases with TAG

August 27, 2024

Autori: Asim Biswal, Liana Patel, Siddarth Jha, Amog Kamsetty, Shu Liu, Joseph E. Gonzalez, Carlos Guestrin, Matei Zaharia

cs.AI

Abstract

I sistemi di intelligenza artificiale che rispondono a domande in linguaggio naturale su database promettono di sbloccare un valore enorme. Tali sistemi consentirebbero agli utenti di sfruttare le potenti capacità di ragionamento e conoscenza dei modelli linguistici (LM) insieme alla scalabilità computazionale dei sistemi di gestione dei dati. Queste capacità combinate permetterebbero agli utenti di porre domande in linguaggio naturale su fonti di dati personalizzate. Tuttavia, i metodi e i benchmark esistenti esplorano in modo insufficiente questo contesto. I metodi Text2SQL si concentrano esclusivamente su domande in linguaggio naturale che possono essere espresse in algebra relazionale, rappresentando solo una piccola parte delle domande che gli utenti reali desiderano porre. Allo stesso modo, il Recupero con Generazione Potenziata (RAG) considera il limitato sottoinsieme di query che possono essere risposte con ricerche puntuali su uno o pochi record dati all'interno del database. Proponiamo la Generazione Potenziata da Tabella (TAG), un paradigma unificato e generico per rispondere a domande in linguaggio naturale su database. Il modello TAG rappresenta una vasta gamma di interazioni tra il LM e il database che sono state precedentemente inesplorate e crea interessanti opportunità di ricerca per sfruttare la conoscenza del mondo e le capacità di ragionamento dei LM sui dati. Sviluppiamo sistematicamente benchmark per studiare il problema TAG e scopriamo che i metodi standard rispondono correttamente a non più del 20% delle query, confermando la necessità di ulteriori ricerche in questo ambito. Rilasciamo il codice per il benchmark su https://github.com/TAG-Research/TAG-Bench.

English

AI systems that serve natural language questions over databases promise to unlock tremendous value. Such systems would allow users to leverage the powerful reasoning and knowledge capabilities of language models (LMs) alongside the scalable computational power of data management systems. These combined capabilities would empower users to ask arbitrary natural language questions over custom data sources. However, existing methods and benchmarks insufficiently explore this setting. Text2SQL methods focus solely on natural language questions that can be expressed in relational algebra, representing a small subset of the questions real users wish to ask. Likewise, Retrieval-Augmented Generation (RAG) considers the limited subset of queries that can be answered with point lookups to one or a few data records within the database. We propose Table-Augmented Generation (TAG), a unified and general-purpose paradigm for answering natural language questions over databases. The TAG model represents a wide range of interactions between the LM and database that have been previously unexplored and creates exciting research opportunities for leveraging the world knowledge and reasoning capabilities of LMs over data. We systematically develop benchmarks to study the TAG problem and find that standard methods answer no more than 20% of queries correctly, confirming the need for further research in this area. We release code for the benchmark at https://github.com/TAG-Research/TAG-Bench.