Text2SQLだけでは不十分：TAGを用いたAIとデータベースの統合

Text2SQL is Not Enough: Unifying AI and Databases with TAG

August 27, 2024

著者: Asim Biswal, Liana Patel, Siddarth Jha, Amog Kamsetty, Shu Liu, Joseph E. Gonzalez, Carlos Guestrin, Matei Zaharia

cs.AI

要旨

データベース上の自然言語質問に応じるAIシステムは、膨大な価値を解き放つ可能性があります。このようなシステムは、ユーザーが言語モデル（LMs）の強力な推論および知識能力を活用すると同時に、データ管理システムのスケーラブルな計算能力を利用できるようにします。これらの組み合わせた能力により、ユーザーはカスタムデータソース上で任意の自然言語質問を行うことが可能となります。ただし、既存の手法やベンチマークはこの設定を十分に探求していません。Text2SQL手法は、関係代数で表現可能な自然言語質問にのみ焦点を当てており、実際のユーザーが尋ねたい質問のごく一部を表しています。同様に、Retrieval-Augmented Generation（RAG）は、データベース内の1つまたは複数のデータレコードに対するポイントルックアップで回答できるクエリの限られたサブセットを考慮しています。私たちは、データベース上の自然言語質問に答えるための統一された汎用パラダイムであるTable-Augmented Generation（TAG）を提案します。TAGモデルは、これまで探求されていなかったLMとデータベース間の幅広い相互作用を表し、LMの世界知識と推論能力をデータに対して活用するための興味深い研究機会を創出します。TAG問題を研究するためのベンチマークを体系的に開発し、標準的な手法がクエリの正解率が20%以下であることを確認し、この分野でのさらなる研究の必要性を裏付けます。当該ベンチマークのコードは、https://github.com/TAG-Research/TAG-Bench で公開されています。

English

AI systems that serve natural language questions over databases promise to unlock tremendous value. Such systems would allow users to leverage the powerful reasoning and knowledge capabilities of language models (LMs) alongside the scalable computational power of data management systems. These combined capabilities would empower users to ask arbitrary natural language questions over custom data sources. However, existing methods and benchmarks insufficiently explore this setting. Text2SQL methods focus solely on natural language questions that can be expressed in relational algebra, representing a small subset of the questions real users wish to ask. Likewise, Retrieval-Augmented Generation (RAG) considers the limited subset of queries that can be answered with point lookups to one or a few data records within the database. We propose Table-Augmented Generation (TAG), a unified and general-purpose paradigm for answering natural language questions over databases. The TAG model represents a wide range of interactions between the LM and database that have been previously unexplored and creates exciting research opportunities for leveraging the world knowledge and reasoning capabilities of LMs over data. We systematically develop benchmarks to study the TAG problem and find that standard methods answer no more than 20% of queries correctly, confirming the need for further research in this area. We release code for the benchmark at https://github.com/TAG-Research/TAG-Bench.