Sintesi di dati Text-to-SQL da LLM deboli e forti

Abstract

Il divario di capacità tra i modelli linguistici di grandi dimensioni (LLM) open-source e closed-source rimane una sfida nei compiti di text-to-SQL. In questo articolo, introduciamo un approccio basato su dati sintetici che combina dati prodotti da modelli più grandi e potenti (modelli forti) con informazioni sugli errori generate da modelli più piccoli e non ben allineati (modelli deboli). Questo metodo non solo migliora la generalizzazione di dominio dei modelli text-to-SQL, ma esplora anche il potenziale della supervisione basata sui dati di errore attraverso l'apprendimento delle preferenze. Inoltre, utilizziamo l'approccio dei dati sintetici per il tuning delle istruzioni su LLM open-source, ottenendo SENSE, un modello text-to-SQL specializzato. L'efficacia di SENSE è dimostrata attraverso risultati all'avanguardia sui benchmark SPIDER e BIRD, riducendo il divario prestazionale tra i modelli open-source e i metodi basati su prompt di modelli closed-source.

English

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.

Sintesi di dati Text-to-SQL da LLM deboli e forti

Synthesizing Text-to-SQL Data from Weak and Strong LLMs

Abstract

Support