Feather-SQL : Un cadre NL2SQL léger avec un paradigme de collaboration à double modèle pour les petits modèles de langage

Feather-SQL: A Lightweight NL2SQL Framework with Dual-Model Collaboration Paradigm for Small Language Models

March 22, 2025

Auteurs: Wenqi Pei, Hailing Xu, Hengyuan Zhao, Shizheng Hou, Han Chen, Zining Zhang, Pingyi Luo, Bingsheng He

cs.AI

Résumé

La conversion du langage naturel en SQL (NL2SQL) a connu des avancées significatives grâce aux grands modèles de langage (LLMs). Cependant, ces modèles dépendent souvent de systèmes propriétaires et de ressources computationnelles élevées, posant des défis en matière de confidentialité des données et de déploiement. En revanche, les petits modèles de langage (SLMs) peinent à accomplir les tâches NL2SQL, affichant de faibles performances et une incompatibilité avec les frameworks existants. Pour résoudre ces problèmes, nous présentons Feather-SQL, un nouveau framework léger conçu pour les SLMs. Feather-SQL améliore l'exécutabilité et la précision du SQL grâce à 1) l'élagage et la liaison de schémas, 2) la génération multi-chemins et multi-candidats. De plus, nous introduisons le paradigme de collaboration 1+1, qui associe un modèle de chat généraliste puissant à un spécialiste SQL finement ajusté, combinant un raisonnement analytique robuste avec une génération SQL de haute précision. Les résultats expérimentaux sur BIRD montrent que Feather-SQL améliore les performances NL2SQL des SLMs, avec une augmentation d'environ 10 % pour les modèles sans ajustement fin. Le paradigme proposé élève le plafond de précision des SLMs à 54,76 %, soulignant son efficacité.

English

Natural Language to SQL (NL2SQL) has seen significant advancements with large language models (LLMs). However, these models often depend on closed-source systems and high computational resources, posing challenges in data privacy and deployment. In contrast, small language models (SLMs) struggle with NL2SQL tasks, exhibiting poor performance and incompatibility with existing frameworks. To address these issues, we introduce Feather-SQL, a new lightweight framework tailored for SLMs. Feather-SQL improves SQL executability and accuracy through 1) schema pruning and linking, 2) multi-path and multi-candidate generation. Additionally, we introduce the 1+1 Model Collaboration Paradigm, which pairs a strong general-purpose chat model with a fine-tuned SQL specialist, combining strong analytical reasoning with high-precision SQL generation. Experimental results on BIRD demonstrate that Feather-SQL improves NL2SQL performance on SLMs, with around 10% boost for models without fine-tuning. The proposed paradigm raises the accuracy ceiling of SLMs to 54.76%, highlighting its effectiveness.