CoHyDE : Co-entraînement itératif d'un réécrivain LLM et d'un encodeur dense pour la recherche d'outils

Résumé

La récupération d'outils dans de vastes catalogues d'API constitue un goulot d'étranglement central pour les agents LLM : les requêtes des utilisateurs arrivent dans un langage familier, souvent sous-spécifié, tandis que le catalogue utilise un vocabulaire technique d'API qu'aucun encodeur fixe ne peut combler à lui seul. Les deux approches d'entraînement dominantes — l'ajustement fin contrastif de l'encodeur et l'expansion de requête de type HyDE avec un LLM gelé — abordent ce problème depuis des directions opposées et échouent de manière complémentaire : l'encodeur ajusté excelle lorsque la forme de surface de la requête correspond déjà au catalogue, mais s'effondre dans le cas contraire, tandis que HyDE en zéro-shot est plus robuste aux requêtes sous-spécifiées mais génère des descriptions hypothétiques ignorantes du catalogue qui dégradent la récupération lorsque les requêtes sont bien formées. Nous introduisons CoHyDE, une procédure itérative qui entraîne l'encodeur dense et le réécriveur LLM comme un système unique co-évolutif : l'encodeur est ré-entraîné avec InfoNCE sur des descriptions hypothétiques de style catalogue produites par le réécriveur, et le réécriveur est aligné par préférence via DPO contre les scores de récupération de l'encodeur, les deux côtés étant initialisés à chaud sur le catalogue d'outils avant le début de la boucle. Sur un sous-ensemble d'environ 10 000 outils du catalogue ToolBench, trois tours de CoHyDE améliorent la meilleure baseline à composant unique de +2,5 points de NDCG@5 sur les requêtes standard et de +6,3 points sur les requêtes vagues exclues de l'entraînement, avec des gains allant jusqu'à +8 points sur le niveau de requêtes vagues le plus difficile. Les ablations confirment que le co-entraînement est l'ingrédient clé : l'utilisation de l'un ou l'autre composant isolément ne parvient pas à égaler CoHyDE sur les requêtes bien formées comme sur les requêtes vagues, avec des pertes allant jusqu'à -8 points sur les requêtes vagues.

English

Tool retrieval over large API catalogs is a core bottleneck for LLM agents: user queries arrive in colloquial, often underspecified language, while the catalog uses technical API vocabulary that no fixed encoder can bridge on its own. The two dominant training approaches, contrastive encoder fine-tuning and HyDE-style query expansion with a frozen LLM, address this problem from opposite ends and fail in complementary directions: the fine-tuned encoder excels when the query's surface form already matches the catalog but collapses when it does not, while zero-shot HyDE is more robust to underspecified queries yet generates catalog-unaware hypothetical descriptions that degrade retrieval when queries are well-formed. We introduce CoHyDE, an iterative procedure that trains the dense encoder and the LLM rewriter as a single co-evolving system: the encoder is retrained with InfoNCE on catalog-style hypothetical descriptions produced by the rewriter, and the rewriter is preference-aligned via DPO against the encoder's retrieval scores, with both sides warm-started on the tool catalog before the loop begins. On a ~10k tool subset of the ToolBench catalog, three rounds of CoHyDE improve over the strongest single-component baseline by +2.5 pp NDCG@5 on standard queries and +6.3 pp on held-out vague queries, with gains as large as +8 pp on the hardest vague tier. Ablations confirm that co-training is the key ingredient: using either component in isolation fails to match CoHyDE on both well-formed and vague queries, with losses of up to -8 pp on vague queries.