Dual-View-Training für befehlsgesteuerte Informationsrückgewinnung
Dual-View Training for Instruction-Following Information Retrieval
April 20, 2026
Autoren: Qingcheng Zeng, Puxuan Yu, Aman Mehta, Fuheng Zhao, Rajhans Samdani
cs.AI
Zusammenfassung
Instruktionsbasiertes Informationsretrieval (IF-IR) untersucht Retrievalsysteme, die nicht nur dokumentspezifisch relevante Dokumente zu einer Anfrage finden müssen, sondern auch explizite Benutzeranforderungen wie erforderliche Attribute, Ausschlüsse oder Ausgabepräferenzen berücksichtigen. Die meisten Retrieval-Modelle werden jedoch primär für semantische Relevanz trainiert und scheitern häufig daran, Dokumente, die zum Thema passen, von jenen zu unterscheiden, die der Instruktion entsprechen. Wir schlagen eine Dual-View-Datensynthese-Strategie basierend auf Polaritätsumkehr vor: Ausgehend von einer Anfrage, einem dokumentbezogen relevanten Dokument und einem schweren Negativbeispiel, das zur Anfrage passt aber die Instruktion verletzt, generieren wir mithilfe eines LLM eine komplementäre Instruktion, unter der die beiden Dokumente ihre Relevanzlabels tauschen. Indem dasselbe Dokumentenpaar unter komplementären Instruktionen präsentiert wird, die ihre Relevanzbeziehung invertieren, zwingt das Trainingssignal das Retrieval-Modell, denselben Kandidatensatz durch die Brille der Instruktion neu zu bewerten, anstatt sich auf feste thematische Hinweise zu verlassen. Bei einem Encoder mit 305M Parametern steigert unsere Methode die Leistung auf dem FollowIR-Benchmark um 45% und übertrifft damit allgemeine Embedding-Modelle vergleichbarer oder größerer Skalierung. Durch direkte Vergleiche bei gleichen Datenbudgets zeigen wir weiterhin, dass Datenvielfalt und Instruktionsüberwachung komplementäre Rollen spielen: Erstere erhält die allgemeine Retrieval-Qualität, während Letztere die Instruktionssensitivität verbessert. Diese Ergebnisse unterstreichen den Wert gezielter Datensynthese für die Entwicklung von Retrievalsystemen, die sowohl breitfähig als auch instruktionssensitiv sind.
English
Instruction-following information retrieval (IF-IR) studies retrieval systems that must not only find documents relevant to a query, but also obey explicit user constraints such as required attributes, exclusions, or output preferences. However, most retrievers are trained primarily for semantic relevance and often fail to distinguish documents that match the topic from those that satisfy the instruction. We propose a dual-view data synthesis strategy based on polarity reversal: given a query, a document that is relevant under the instruction, and a hard negative that matches the query but violates the instruction, we prompt an LLM to generate a complementary instruction under which the two documents swap relevance labels. By presenting the same document pair under complementary instructions that invert their relevance labels, the training signal forces the retriever to reconsider the same candidate set through the instruction, rather than relying on fixed topical cues. On a 305M-parameter encoder, our method improves performance on the FollowIR benchmark by 45%, surpassing general-purpose embedding models of comparable or larger scale. Through head-to-head comparisons at matched data budgets, we further show that data diversity and instruction supervision play complementary roles: the former preserves general retrieval quality, while the latter improves instruction sensitivity. These results highlight the value of targeted data synthesis for building retrieval systems that are both broadly capable and instruction-aware.