Synthese von Text-zu-SQL-Daten aus schwachen und starken LLMs

Synthesizing Text-to-SQL Data from Weak and Strong LLMs

August 6, 2024

Autoren: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou

cs.AI

Zusammenfassung

Die Fähigkeitslücke zwischen Open-Source- und Closed-Source-großen Sprachmodellen (LLMs) bleibt eine Herausforderung bei Text-zu-SQL-Aufgaben. In diesem Artikel stellen wir einen synthetischen Datenansatz vor, der Daten kombiniert, die von größeren, leistungsstärkeren Modellen (starken Modellen) produziert wurden, mit Fehlerinformationsdaten, die von kleineren, nicht gut ausgerichteten Modellen (schwachen Modellen) generiert wurden. Die Methode verbessert nicht nur die Domänengeneralisierung von Text-zu-SQL-Modellen, sondern erforscht auch das Potenzial der Fehlervorlagedaten durch Präferenzlernen. Darüber hinaus verwenden wir den synthetischen Datenansatz für die Anweisungsabstimmung bei Open-Source-LLMs und erhalten SENSE, ein spezialisiertes Text-zu-SQL-Modell. Die Wirksamkeit von SENSE wird durch erstklassige Ergebnisse auf den SPIDER- und BIRD-Benchmarks demonstriert, wodurch die Leistungslücke zwischen Open-Source-Modellen und Methoden, die durch Closed-Source-Modelle angeregt wurden, überbrückt wird.

English

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.