Feather-SQL: 小型言語モデルのためのデュアルモデル協調パラダイムを備えた軽量NL2SQLフレームワーク

Feather-SQL: A Lightweight NL2SQL Framework with Dual-Model Collaboration Paradigm for Small Language Models

March 22, 2025

著者: Wenqi Pei, Hailing Xu, Hengyuan Zhao, Shizheng Hou, Han Chen, Zining Zhang, Pingyi Luo, Bingsheng He

cs.AI

要旨

自然言語からSQLへの変換（NL2SQL）は、大規模言語モデル（LLMs）の進展により大きな進歩を遂げてきました。しかし、これらのモデルはしばしばクローズドソースのシステムと高い計算リソースに依存しており、データプライバシーとデプロイメントにおいて課題を抱えています。一方、小規模言語モデル（SLMs）はNL2SQLタスクに苦戦し、性能が低く、既存のフレームワークとの互換性に欠けるという問題があります。これらの課題に対処するため、我々はSLMsに特化した新しい軽量フレームワークであるFeather-SQLを提案します。Feather-SQLは、1) スキーマのプルーニングとリンキング、2) マルチパスおよびマルチ候補生成を通じて、SQLの実行可能性と精度を向上させます。さらに、強力な汎用チャットモデルと微調整されたSQL専門家を組み合わせた「1+1モデル協調パラダイム」を導入し、強力な分析的推論と高精度なSQL生成を融合させます。BIRDでの実験結果は、Feather-SQLがSLMsにおけるNL2SQLの性能を向上させ、微調整なしのモデルで約10%の向上をもたらすことを示しています。提案されたパラダイムは、SLMsの精度の上限を54.76%まで引き上げ、その有効性を強調しています。

English

Natural Language to SQL (NL2SQL) has seen significant advancements with large language models (LLMs). However, these models often depend on closed-source systems and high computational resources, posing challenges in data privacy and deployment. In contrast, small language models (SLMs) struggle with NL2SQL tasks, exhibiting poor performance and incompatibility with existing frameworks. To address these issues, we introduce Feather-SQL, a new lightweight framework tailored for SLMs. Feather-SQL improves SQL executability and accuracy through 1) schema pruning and linking, 2) multi-path and multi-candidate generation. Additionally, we introduce the 1+1 Model Collaboration Paradigm, which pairs a strong general-purpose chat model with a fine-tuned SQL specialist, combining strong analytical reasoning with high-precision SQL generation. Experimental results on BIRD demonstrate that Feather-SQL improves NL2SQL performance on SLMs, with around 10% boost for models without fine-tuning. The proposed paradigm raises the accuracy ceiling of SLMs to 54.76%, highlighting its effectiveness.