텍스트를 SQL로만 변환하는 것으로는 부족하다: TAG를 활용한 AI와 데이터베이스의 통합

Text2SQL is Not Enough: Unifying AI and Databases with TAG

August 27, 2024

저자: Asim Biswal, Liana Patel, Siddarth Jha, Amog Kamsetty, Shu Liu, Joseph E. Gonzalez, Carlos Guestrin, Matei Zaharia

cs.AI

초록

데이터베이스 상의 자연어 질문에 대답하는 AI 시스템은 엄청난 가치를 창출할 것으로 기대됩니다. 이러한 시스템은 사용자가 언어 모델 (LMs)의 강력한 추론 및 지식 기능과 데이터 관리 시스템의 확장 가능한 계산 능력을 활용할 수 있게 합니다. 이러한 결합된 기능은 사용자가 사용자 정의 데이터 소스 상에 임의의 자연어 질문을 할 수 있도록 돕게 됩니다. 그러나 기존 방법과 벤치마크는 이러한 환경을 충분히 탐구하지 못하고 있습니다. Text2SQL 방법은 관계 대수로 표현할 수 있는 자연어 질문에만 초점을 맞추며, 실제 사용자가 하고 싶어하는 질문의 작은 부분만을 대표합니다. 마찬가지로, 검색 증강 생성 (RAG)은 데이터베이스 내의 하나 또는 몇 개의 데이터 레코드에 대한 지점 조회로 답변할 수 있는 쿼리의 한정된 부분을 고려합니다. 저희는 Table-Augmented Generation (TAG)을 제안합니다. 이는 데이터베이스 상의 자연어 질문에 대답하기 위한 통합 및 일반적인 패러다임입니다. TAG 모델은 이전에 탐구되지 않았던 LM과 데이터베이스 간의 다양한 상호작용을 표현하며, LM의 세계 지식과 추론 능력을 데이터에 대해 활용할 수 있는 흥미로운 연구 기회를 창출합니다. 우리는 TAG 문제를 연구하기 위해 체계적으로 벤치마크를 개발하였고, 표준 방법이 쿼리의 20% 이상을 올바르게 답변하지 못한다는 것을 확인하여, 이 분야에서의 추가 연구 필요성을 확인하였습니다. 우리는 해당 벤치마크의 코드를 https://github.com/TAG-Research/TAG-Bench 에 공개하였습니다.

English

AI systems that serve natural language questions over databases promise to unlock tremendous value. Such systems would allow users to leverage the powerful reasoning and knowledge capabilities of language models (LMs) alongside the scalable computational power of data management systems. These combined capabilities would empower users to ask arbitrary natural language questions over custom data sources. However, existing methods and benchmarks insufficiently explore this setting. Text2SQL methods focus solely on natural language questions that can be expressed in relational algebra, representing a small subset of the questions real users wish to ask. Likewise, Retrieval-Augmented Generation (RAG) considers the limited subset of queries that can be answered with point lookups to one or a few data records within the database. We propose Table-Augmented Generation (TAG), a unified and general-purpose paradigm for answering natural language questions over databases. The TAG model represents a wide range of interactions between the LM and database that have been previously unexplored and creates exciting research opportunities for leveraging the world knowledge and reasoning capabilities of LMs over data. We systematically develop benchmarks to study the TAG problem and find that standard methods answer no more than 20% of queries correctly, confirming the need for further research in this area. We release code for the benchmark at https://github.com/TAG-Research/TAG-Bench.