SHARE: Иерархический помощник для коррекции действий на основе SLM в задачах Text-to-SQL
SHARE: An SLM-based Hierarchical Action CorREction Assistant for Text-to-SQL
May 31, 2025
Авторы: Ge Qu, Jinyang Li, Bowen Qin, Xiaolong Li, Nan Huo, Chenhao Ma, Reynold Cheng
cs.AI
Аннотация
Современные подходы к самокоррекции в задачах text-to-SQL сталкиваются с двумя ключевыми ограничениями: 1) Традиционные методы самокоррекции полагаются на рекурсивные вызовы больших языковых моделей (LLM), что приводит к мультипликативным вычислительным затратам, и 2) LLM испытывают трудности с эффективным обнаружением и исправлением ошибок в декларативных SQL-запросах, поскольку не демонстрируют лежащий в основе путь рассуждений. В данной работе мы предлагаем SHARE — иерархического помощника для коррекции действий на основе малых языковых моделей (SLM), который позволяет LLM выполнять более точную локализацию ошибок и эффективную коррекцию. SHARE организует три специализированные малые языковые модели (SLM) в последовательный конвейер, где сначала преобразует декларативные SQL-запросы в пошаговые траектории действий, раскрывающие лежащие в основе рассуждения, а затем выполняет двухфазную детализированную коррекцию. Мы также предлагаем новую иерархическую стратегию самоэволюции для эффективного обучения с ограниченными данными. Результаты экспериментов показывают, что SHARE значительно улучшает возможности самокоррекции, демонстрируя устойчивость при работе с различными LLM. Кроме того, наш всесторонний анализ показывает, что SHARE сохраняет высокую производительность даже в условиях обучения с ограниченными ресурсами, что особенно ценно для приложений text-to-SQL с ограничениями на конфиденциальность данных.
English
Current self-correction approaches in text-to-SQL face two critical
limitations: 1) Conventional self-correction methods rely on recursive
self-calls of LLMs, resulting in multiplicative computational overhead, and 2)
LLMs struggle to implement effective error detection and correction for
declarative SQL queries, as they fail to demonstrate the underlying reasoning
path. In this work, we propose SHARE, an SLM-based Hierarchical Action
corREction assistant that enables LLMs to perform more precise error
localization and efficient correction. SHARE orchestrates three specialized
Small Language Models (SLMs) in a sequential pipeline, where it first
transforms declarative SQL queries into stepwise action trajectories that
reveal underlying reasoning, followed by a two-phase granular refinement. We
further propose a novel hierarchical self-evolution strategy for data-efficient
training. Experimental results demonstrate that SHARE effectively enhances
self-correction capabilities while proving robust across various LLMs.
Furthermore, our comprehensive analysis shows that SHARE maintains strong
performance even in low-resource training settings, which is particularly
valuable for text-to-SQL applications with data privacy constraints.