Синтез текста в SQL-данные от слабых и сильных моделей языка и логики.

Synthesizing Text-to-SQL Data from Weak and Strong LLMs

August 6, 2024

Авторы: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou

cs.AI

Аннотация

Разрыв в возможностях между моделями крупного размера с открытым и закрытым исходным кодом (LLM) остается вызовом в задачах текста к SQL. В данной статье мы представляем подход с использованием синтетических данных, который объединяет данные, созданные более крупными и мощными моделями (сильные модели), с данными об информации об ошибках, сгенерированными менее мощными, не хорошо согласованными моделями (слабые модели). Этот метод не только улучшает обобщение области моделей текста к SQL, но и исследует потенциал надзора за данными об ошибках через обучение предпочтениям. Кроме того, мы используем подход с использованием синтетических данных для настройки инструкций на моделях LLM с открытым исходным кодом, что приводит к созданию модели SENSE, специализированной для текста к SQL. Эффективность SENSE продемонстрирована через передовые результаты на бенчмарках SPIDER и BIRD, сокращая разрыв в производительности между моделями с открытым исходным кодом и методами, вызванными моделями с закрытым исходным кодом.

English

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.