Formation à double vue pour la recherche d'information en suivant des instructions

Dual-View Training for Instruction-Following Information Retrieval

April 20, 2026

Auteurs: Qingcheng Zeng, Puxuan Yu, Aman Mehta, Fuheng Zhao, Rajhans Samdani

cs.AI

Résumé

La recherche d'information à suivi d'instructions (IF-IR) étudie les systèmes de recherche qui doivent non seulement trouver des documents pertinents pour une requête, mais aussi obéir à des contraintes utilisateur explicites telles que des attributs requis, des exclusions ou des préférences de sortie. Cependant, la plupart des systèmes de retrieval sont principalement entraînés pour la pertinence sémantique et échouent souvent à distinguer les documents correspondant au thème de ceux qui satisfont l'instruction. Nous proposons une stratégie de synthèse de données à double vue basée sur l'inversion de polarité : étant donné une requête, un document pertinent sous l'instruction et un exemple négatif difficile qui correspond à la requête mais viole l'instruction, nous incitons un LLM à générer une instruction complémentaire sous laquelle les deux documents échangent leurs étiquettes de pertinence. En présentant la même paire de documents sous des instructions complémentaires qui inversent leurs étiquettes de pertinence, le signal d'apprentissage force le système de retrieval à reconsidérer le même ensemble de candidats à travers l'instruction, plutôt que de s'appuyer sur des indices thématiques fixes. Sur un encodeur de 305 millions de paramètres, notre méthode améliore les performances sur le benchmark FollowIR de 45%, surpassant les modèles d'embedding généralistes d'échelle comparable ou supérieure. Par des comparaisons directes avec des budgets de données équivalents, nous montrons en outre que la diversité des données et la supervision par instructions jouent des rôles complémentaires : la première préserve la qualité générale du retrieval, tandis que la seconde améliore la sensibilité aux instructions. Ces résultats soulignent la valeur de la synthèse ciblée de données pour construire des systèmes de retrieval à la fois largement compétents et conscients des instructions.

English

Instruction-following information retrieval (IF-IR) studies retrieval systems that must not only find documents relevant to a query, but also obey explicit user constraints such as required attributes, exclusions, or output preferences. However, most retrievers are trained primarily for semantic relevance and often fail to distinguish documents that match the topic from those that satisfy the instruction. We propose a dual-view data synthesis strategy based on polarity reversal: given a query, a document that is relevant under the instruction, and a hard negative that matches the query but violates the instruction, we prompt an LLM to generate a complementary instruction under which the two documents swap relevance labels. By presenting the same document pair under complementary instructions that invert their relevance labels, the training signal forces the retriever to reconsider the same candidate set through the instruction, rather than relying on fixed topical cues. On a 305M-parameter encoder, our method improves performance on the FollowIR benchmark by 45%, surpassing general-purpose embedding models of comparable or larger scale. Through head-to-head comparisons at matched data budgets, we further show that data diversity and instruction supervision play complementary roles: the former preserves general retrieval quality, while the latter improves instruction sensitivity. These results highlight the value of targeted data synthesis for building retrieval systems that are both broadly capable and instruction-aware.