Het synthetiseren van Text-to-SQL-gegevens uit zwakke en sterke LLM's
Synthesizing Text-to-SQL Data from Weak and Strong LLMs
August 6, 2024
Auteurs: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou
cs.AI
Samenvatting
Het prestatieverschil tussen open-source en closed-source grote taalmodellen (LLMs) blijft een uitdaging bij tekst-naar-SQL-taken. In dit artikel introduceren we een synthetische data-aanpak die data geproduceerd door grotere, krachtigere modellen (sterke modellen) combineert met foutinformatie gegenereerd door kleinere, minder goed afgestemde modellen (zwakke modellen). Deze methode verbetert niet alleen de domeingeneralizatie van tekst-naar-SQL-modellen, maar onderzoekt ook het potentieel van foutdatasupervisie via voorkeursleren. Bovendien passen we de synthetische data-aanpak toe voor instructieafstemming op open-source LLMs, wat resulteert in SENSE, een gespecialiseerd tekst-naar-SQL-model. De effectiviteit van SENSE wordt aangetoond door state-of-the-art resultaten op de SPIDER- en BIRD-benchmarks, waardoor het prestatieverschil tussen open-source modellen en methoden aangestuurd door closed-source modellen wordt overbrugd.
English
The capability gap between open-source and closed-source large language
models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we
introduce a synthetic data approach that combines data produced by larger, more
powerful models (strong models) with error information data generated by
smaller, not well-aligned models (weak models). The method not only enhances
the domain generalization of text-to-SQL models but also explores the potential
of error data supervision through preference learning. Furthermore, we employ
the synthetic data approach for instruction tuning on open-source LLMs,
resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is
demonstrated through state-of-the-art results on the SPIDER and BIRD
benchmarks, bridging the performance gap between open-source models and methods
prompted by closed-source models.