Treinamento de Visão Dupla para Recuperação de Informações com Seguimento de Instruções

Dual-View Training for Instruction-Following Information Retrieval

April 20, 2026

Autores: Qingcheng Zeng, Puxuan Yu, Aman Mehta, Fuheng Zhao, Rajhans Samdani

cs.AI

Resumo

A recuperação de informação com seguimento de instruções (IF-IR) estuda sistemas de recuperação que não só devem encontrar documentos relevantes para uma consulta, mas também obedecer a restrições explícitas do utilizador, como atributos obrigatórios, exclusões ou preferências de saída. No entanto, a maioria dos recuperadores é treinada principalmente para relevância semântica e frequentemente falha em distinguir documentos que correspondem ao tópico daqueles que satisfazem a instrução. Propomos uma estratégia de síntese de dados de dupla perspetiva baseada na inversão de polaridade: dada uma consulta, um documento relevante de acordo com a instrução e um negativo difícil que corresponde à consulta mas viola a instrução, solicitamos a um LLM que gere uma instrução complementar sob a qual os dois documentos troquem os rótulos de relevância. Ao apresentar o mesmo par de documentos sob instruções complementares que invertem os seus rótulos de relevância, o sinal de treino força o recuperador a reconsiderar o mesmo conjunto de candidatos através da instrução, em vez de depender de pistas tópicas fixas. Num *encoder* com 305 milhões de parâmetros, o nosso método melhora o desempenho no *benchmark* FollowIR em 45%, superando modelos de incorporação de propósito geral de escala comparável ou maior. Através de comparações diretas com orçamentos de dados equivalentes, mostramos ainda que a diversidade de dados e a supervisão por instrução desempenham papéis complementares: a primeira preserva a qualidade geral da recuperação, enquanto a segunda melhora a sensibilidade às instruções. Estes resultados destacam o valor da síntese de dados direcionada para a construção de sistemas de recuperação que são simultaneamente capazes em termos gerais e conscientes das instruções.

English

Instruction-following information retrieval (IF-IR) studies retrieval systems that must not only find documents relevant to a query, but also obey explicit user constraints such as required attributes, exclusions, or output preferences. However, most retrievers are trained primarily for semantic relevance and often fail to distinguish documents that match the topic from those that satisfy the instruction. We propose a dual-view data synthesis strategy based on polarity reversal: given a query, a document that is relevant under the instruction, and a hard negative that matches the query but violates the instruction, we prompt an LLM to generate a complementary instruction under which the two documents swap relevance labels. By presenting the same document pair under complementary instructions that invert their relevance labels, the training signal forces the retriever to reconsider the same candidate set through the instruction, rather than relying on fixed topical cues. On a 305M-parameter encoder, our method improves performance on the FollowIR benchmark by 45%, surpassing general-purpose embedding models of comparable or larger scale. Through head-to-head comparisons at matched data budgets, we further show that data diversity and instruction supervision play complementary roles: the former preserves general retrieval quality, while the latter improves instruction sensitivity. These results highlight the value of targeted data synthesis for building retrieval systems that are both broadly capable and instruction-aware.