Kennisbankconstructie voor kennis-augmented Text-to-SQL

Samenvatting

Text-to-SSQL heeft als doel natuurlijke taalvragen te vertalen naar SQL-statements, wat praktisch is omdat het iedereen in staat stelt eenvoudig de gewenste informatie uit databases op te halen. Recentelijk pakken veel bestaande benaderingen dit probleem aan met behulp van Large Language Models (LLMs), waarbij gebruik wordt gemaakt van hun sterke vermogen om gebruikersvragen te begrijpen en bijbehorende SQL-code te genereren. Toch kan de parametrische kennis in LLMs beperkt zijn in het dekken van alle diverse en domeinspecifieke vragen die verankering vereisen in verschillende databaseschema's, wat ervoor zorgt dat gegenereerde SQL-statements vaak minder accuraat zijn. Om dit aan te pakken, stellen we voor om een kennisbasis voor text-to-SQL te construeren, een fundamentele bron van kennis, waaruit we de benodigde kennis voor gegeven queries ophalen en genereren. In het bijzonder, in tegenstelling tot bestaande benaderingen die ofwel handmatig kennis annoteren of slechts enkele stukjes kennis voor elke query genereren, is onze kennisbasis uitgebreid en gebaseerd op een combinatie van alle beschikbare vragen en hun bijbehorende databaseschema's, samen met hun relevante kennis, en kan deze worden hergebruikt voor onbekende databases uit verschillende datasets en domeinen. We valideren onze aanpak op meerdere text-to-SQL-datasets, waarbij zowel overlappende als niet-overlappende databasescenario's worden overwogen, en waar deze aanzienlijk beter presteert dan relevante baseline-methoden.

English

Text-to-SQL aims to translate natural language queries into SQL statements, which is practical as it enables anyone to easily retrieve the desired information from databases. Recently, many existing approaches tackle this problem with Large Language Models (LLMs), leveraging their strong capability in understanding user queries and generating corresponding SQL code. Yet, the parametric knowledge in LLMs might be limited to covering all the diverse and domain-specific queries that require grounding in various database schemas, which makes generated SQLs less accurate oftentimes. To tackle this, we propose constructing the knowledge base for text-to-SQL, a foundational source of knowledge, from which we retrieve and generate the necessary knowledge for given queries. In particular, unlike existing approaches that either manually annotate knowledge or generate only a few pieces of knowledge for each query, our knowledge base is comprehensive, which is constructed based on a combination of all the available questions and their associated database schemas along with their relevant knowledge, and can be reused for unseen databases from different datasets and domains. We validate our approach on multiple text-to-SQL datasets, considering both the overlapping and non-overlapping database scenarios, where it outperforms relevant baselines substantially.

Kennisbankconstructie voor kennis-augmented Text-to-SQL

Knowledge Base Construction for Knowledge-Augmented Text-to-SQL

Samenvatting

Support