Construção de Base de Conhecimento para Text-to-SQL Aumentado por Conhecimento

Knowledge Base Construction for Knowledge-Augmented Text-to-SQL

May 28, 2025

Autores: Jinheon Baek, Horst Samulowitz, Oktie Hassanzadeh, Dharmashankar Subramanian, Sola Shirai, Alfio Gliozzo, Debarun Bhattacharjya

cs.AI

Resumo

Text-to-SQL visa traduzir consultas em linguagem natural para instruções SQL, o que é prático, pois permite que qualquer pessoa recupere facilmente as informações desejadas de bancos de dados. Recentemente, muitas abordagens existentes lidam com esse problema utilizando Modelos de Linguagem de Grande Escala (LLMs), aproveitando sua forte capacidade de compreender consultas do usuário e gerar o código SQL correspondente. No entanto, o conhecimento paramétrico dos LLMs pode ser limitado para cobrir todas as consultas diversas e específicas de domínio que exigem ancoragem em vários esquemas de banco de dados, o que torna os SQLs gerados menos precisos em muitos casos. Para resolver isso, propomos a construção de uma base de conhecimento para text-to-SQL, uma fonte fundamental de conhecimento, da qual recuperamos e geramos o conhecimento necessário para consultas específicas. Em particular, diferente das abordagens existentes que ou anotam conhecimento manualmente ou geram apenas algumas partes de conhecimento para cada consulta, nossa base de conhecimento é abrangente, sendo construída com base em uma combinação de todas as perguntas disponíveis e seus esquemas de banco de dados associados, juntamente com o conhecimento relevante, e pode ser reutilizada para bancos de dados não vistos de diferentes conjuntos de dados e domínios. Validamos nossa abordagem em múltiplos conjuntos de dados text-to-SQL, considerando tanto cenários de bancos de dados sobrepostos quanto não sobrepostos, onde ela supera substancialmente as linhas de base relevantes.

English

Text-to-SQL aims to translate natural language queries into SQL statements, which is practical as it enables anyone to easily retrieve the desired information from databases. Recently, many existing approaches tackle this problem with Large Language Models (LLMs), leveraging their strong capability in understanding user queries and generating corresponding SQL code. Yet, the parametric knowledge in LLMs might be limited to covering all the diverse and domain-specific queries that require grounding in various database schemas, which makes generated SQLs less accurate oftentimes. To tackle this, we propose constructing the knowledge base for text-to-SQL, a foundational source of knowledge, from which we retrieve and generate the necessary knowledge for given queries. In particular, unlike existing approaches that either manually annotate knowledge or generate only a few pieces of knowledge for each query, our knowledge base is comprehensive, which is constructed based on a combination of all the available questions and their associated database schemas along with their relevant knowledge, and can be reused for unseen databases from different datasets and domains. We validate our approach on multiple text-to-SQL datasets, considering both the overlapping and non-overlapping database scenarios, where it outperforms relevant baselines substantially.