Síntese de Dados Texto-para-SQL de LLMs Fracos e Fortes

Synthesizing Text-to-SQL Data from Weak and Strong LLMs

August 6, 2024

Autores: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou

cs.AI

Resumo

A lacuna de capacidade entre modelos de linguagem grandes (LLMs) de código aberto e de código fechado continua sendo um desafio nas tarefas de texto para SQL. Neste artigo, apresentamos uma abordagem de dados sintéticos que combina dados produzidos por modelos maiores e mais poderosos (modelos fortes) com dados de informações de erro gerados por modelos menores e não bem alinhados (modelos fracos). O método não apenas aprimora a generalização de domínio dos modelos de texto para SQL, mas também explora o potencial da supervisão de dados de erro por meio de aprendizado de preferências. Além disso, empregamos a abordagem de dados sintéticos para ajuste de instruções em LLMs de código aberto, resultando no SENSE, um modelo especializado de texto para SQL. A eficácia do SENSE é demonstrada por meio de resultados de ponta nos benchmarks SPIDER e BIRD, reduzindo a lacuna de desempenho entre modelos de código aberto e métodos impulsionados por modelos de código fechado.

English

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.