CoHyDE: Итеративное совместное обучение переписчика на основе LLM и плотного энкодера для извлечения инструментов

Аннотация

Извлечение инструментов из больших каталогов API является ключевым узким местом для LLM-агентов: пользовательские запросы поступают на разговорном, часто неконкретном языке, в то время как каталог использует техническую терминологию API, которую ни один фиксированный кодер не может преодолеть самостоятельно. Два доминирующих подхода к обучению — тонкая настройка контрастного кодера и расширение запросов в стиле HyDE с замороженной LLM — решают эту проблему с противоположных сторон и терпят неудачу в дополняющих друг друга направлениях: тонко настроенный кодер превосходно работает, когда поверхностная форма запроса уже соответствует каталогу, но разрушается, если это не так, в то время как HyDE в режиме zero-shot более устойчив к неконкретным запросам, однако генерирует гипотетические описания, не осведомленные о каталоге, что ухудшает извлечение, когда запросы сформулированы корректно. Мы представляем CoHyDE — итеративную процедуру, которая обучает плотный кодер и LLM-переписчик как единую совместно эволюционирующую систему: кодер переобучается с InfoNCE на гипотетических описаниях в стиле каталога, созданных переписчиком, а переписчик выравнивается по предпочтениям через DPO на основе оценок извлечения кодера, причем обе стороны инициализируются на каталоге инструментов до начала цикла. На подмножестве из ~10k инструментов каталога ToolBench три раунда CoHyDE улучшают сильнейший однокомпонентный базовый метод на +2.5 п.п. NDCG@5 для стандартных запросов и на +6.3 п.п. для отложенных нечетких запросов, при этом прирост достигает +8 п.п. для самых сложных нечетких запросов. Абляции подтверждают, что совместное обучение является ключевым ингредиентом: использование любого компонента по отдельности не позволяет достичь результатов CoHyDE как для хорошо сформулированных, так и для нечетких запросов, с потерями до -8 п.п. на нечетких запросах.

English

Tool retrieval over large API catalogs is a core bottleneck for LLM agents: user queries arrive in colloquial, often underspecified language, while the catalog uses technical API vocabulary that no fixed encoder can bridge on its own. The two dominant training approaches, contrastive encoder fine-tuning and HyDE-style query expansion with a frozen LLM, address this problem from opposite ends and fail in complementary directions: the fine-tuned encoder excels when the query's surface form already matches the catalog but collapses when it does not, while zero-shot HyDE is more robust to underspecified queries yet generates catalog-unaware hypothetical descriptions that degrade retrieval when queries are well-formed. We introduce CoHyDE, an iterative procedure that trains the dense encoder and the LLM rewriter as a single co-evolving system: the encoder is retrained with InfoNCE on catalog-style hypothetical descriptions produced by the rewriter, and the rewriter is preference-aligned via DPO against the encoder's retrieval scores, with both sides warm-started on the tool catalog before the loop begins. On a ~10k tool subset of the ToolBench catalog, three rounds of CoHyDE improve over the strongest single-component baseline by +2.5 pp NDCG@5 on standard queries and +6.3 pp on held-out vague queries, with gains as large as +8 pp on the hardest vague tier. Ablations confirm that co-training is the key ingredient: using either component in isolation fails to match CoHyDE on both well-formed and vague queries, with losses of up to -8 pp on vague queries.