Synthétiser des données Text-to-SQL à partir de LLMs faibles et forts

Synthesizing Text-to-SQL Data from Weak and Strong LLMs

August 6, 2024

Auteurs: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou

cs.AI

Résumé

L'écart de capacité entre les modèles de langage à grande échelle (LLM) open-source et propriétaires reste un défi dans les tâches de conversion texte-SQL. Dans cet article, nous présentons une approche de données synthétiques qui combine des données produites par des modèles plus grands et plus puissants (modèles forts) avec des informations d'erreur générées par des modèles plus petits et moins bien alignés (modèles faibles). Cette méthode améliore non seulement la généralisation des modèles texte-SQL à différents domaines, mais explore également le potentiel de la supervision par données d'erreur via l'apprentissage par préférence. De plus, nous utilisons l'approche de données synthétiques pour l'ajustement par instruction sur des LLM open-source, aboutissant à SENSE, un modèle texte-SQL spécialisé. L'efficacité de SENSE est démontrée par des résultats de pointe sur les benchmarks SPIDER et BIRD, réduisant ainsi l'écart de performance entre les modèles open-source et les méthodes utilisant des modèles propriétaires.

English

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.