Addestramento a Doppia Vista per il Recupero delle Informazioni con Seguito di Istruzioni

Dual-View Training for Instruction-Following Information Retrieval

April 20, 2026

Autori: Qingcheng Zeng, Puxuan Yu, Aman Mehta, Fuheng Zhao, Rajhans Samdani

cs.AI

Abstract

La ricerca di informazioni basata su istruzioni (IF-IR) studia sistemi di recupero che non solo devono trovare documenti pertinenti a una query, ma anche obbedire a vincoli utente espliciti come attributi richiesti, esclusioni o preferenze di output. Tuttavia, la maggior parte dei sistemi di retrieval viene addestrata principalmente per la rilevanza semantica e spesso non riesce a distinguere i documenti che corrispondono all'argomento da quelli che soddisfano l'istruzione. Proponiamo una strategia di sintesi dei dati a doppia visuale basata sull'inversione di polarità: data una query, un documento rilevante secondo l'istruzione e un negativo difficile che corrisponde alla query ma viola l'istruzione, sollecitiamo un LLM a generare un'istruzione complementare sotto la quale i due documenti scambiano le etichette di rilevanza. Presentando la stessa coppia di documenti sotto istruzioni complementari che invertono le loro etichette di rilevanza, il segnale di addestramento costringe il sistema di retrieval a riconsiderare lo stesso insieme di candidati attraverso l'istruzione, anziché affidarsi a indizi tematici fissi. Su un encoder da 305 milioni di parametri, il nostro metodo migliora le prestazioni sul benchmark FollowIR del 45%, superando modelli di embedding generici di scala comparabile o maggiore. Attraverso confronti diretti con budget di dati equivalenti, mostriamo ulteriormente che la diversità dei dati e la supervisione delle istruzioni svolgono ruoli complementari: la prima preserva la qualità generale del retrieval, mentre la seconda migliora la sensibilità alle istruzioni. Questi risultati evidenziano il valore della sintesi mirata dei dati per costruire sistemi di retrieval che siano sia ampiamente capaci che consapevoli delle istruzioni.

English

Instruction-following information retrieval (IF-IR) studies retrieval systems that must not only find documents relevant to a query, but also obey explicit user constraints such as required attributes, exclusions, or output preferences. However, most retrievers are trained primarily for semantic relevance and often fail to distinguish documents that match the topic from those that satisfy the instruction. We propose a dual-view data synthesis strategy based on polarity reversal: given a query, a document that is relevant under the instruction, and a hard negative that matches the query but violates the instruction, we prompt an LLM to generate a complementary instruction under which the two documents swap relevance labels. By presenting the same document pair under complementary instructions that invert their relevance labels, the training signal forces the retriever to reconsider the same candidate set through the instruction, rather than relying on fixed topical cues. On a 305M-parameter encoder, our method improves performance on the FollowIR benchmark by 45%, surpassing general-purpose embedding models of comparable or larger scale. Through head-to-head comparisons at matched data budgets, we further show that data diversity and instruction supervision play complementary roles: the former preserves general retrieval quality, while the latter improves instruction sensitivity. These results highlight the value of targeted data synthesis for building retrieval systems that are both broadly capable and instruction-aware.