R1-RE: Extração de Relações entre Domínios com RLVR

R1-RE: Cross-Domain Relationship Extraction with RLVR

July 7, 2025

Autores: Runpeng Dai, Tong Zheng, Run Yang, Hongtu Zhu

cs.AI

Resumo

A extração de relações (RE) é uma tarefa fundamental no processamento de linguagem natural. Abordagens tradicionais geralmente enquadram a RE como um problema de aprendizado supervisionado, mapeando diretamente o contexto para rótulos — uma abordagem que frequentemente sofre com a generalização inadequada fora do domínio (OOD). Inspirados pelo fluxo de trabalho de anotadores humanos, reformulamos a RE como uma tarefa de raciocínio guiada por diretrizes de anotação e introduzimos o R1-RE, o primeiro framework de aprendizado por reforço com recompensa verificável (RLVR) para tarefas de RE. Nosso método estimula as habilidades de raciocínio de modelos de linguagem menores para tarefas de anotação, resultando em uma robustez OOD significativamente aprimorada. Avaliamos nossa abordagem no conjunto de dados público Sem-2010 e em um conjunto de dados privado MDKG. O modelo R1-RE-7B atinge uma precisão OOD média de aproximadamente 70%, equiparando-se a modelos proprietários líderes, como o GPT-4o. Além disso, nossa análise abrangente fornece novos insights sobre a dinâmica de treinamento e os comportamentos emergentes de raciocínio do paradigma RLVR para RE.

English

Relationship extraction (RE) is a core task in natural language processing. Traditional approaches typically frame RE as a supervised learning problem, directly mapping context to labels-an approach that often suffers from poor out-of-domain (OOD) generalization. Inspired by the workflow of human annotators, we reframe RE as a reasoning task guided by annotation guidelines and introduce R1-RE, the first reinforcement learning with verifiable reward (RLVR) framework for RE tasks. Our method elicits the reasoning abilities of small language models for annotation tasks, resulting in significantly improved OOD robustness. We evaluate our approach on the public Sem-2010 dataset and a private MDKG dataset. The R1-RE-7B model attains an average OOD accuracy of approximately 70%, on par with leading proprietary models such as GPT-4o. Additionally, our comprehensive analysis provides novel insights into the training dynamics and emergent reasoning behaviors of the RLVR paradigm for RE.