R1-RE: Cross-domein relatie-extractie met RLVR

R1-RE: Cross-Domain Relationship Extraction with RLVR

July 7, 2025

Auteurs: Runpeng Dai, Tong Zheng, Run Yang, Hongtu Zhu

cs.AI

Samenvatting

Relatie-extractie (RE) is een kerntaak binnen natuurlijke taalverwerking. Traditionele benaderingen behandelen RE doorgaans als een supervised learning-probleem, waarbij context direct wordt gemapt naar labels—een aanpak die vaak lijdt onder slechte generalisatie buiten het domein (OOD). Geïnspireerd door de werkwijze van menselijke annotators, herformuleren wij RE als een redeneertaak die wordt geleid door annotatierichtlijnen en introduceren we R1-RE, het eerste reinforcement learning-framework met verifieerbare beloning (RLVR) voor RE-taken. Onze methode activeert de redeneervaardigheden van kleine taalmodellen voor annotatietaken, wat resulteert in een aanzienlijk verbeterde OOD-robuustheid. We evalueren onze aanpak op de openbare Sem-2010 dataset en een privé MDKG dataset. Het R1-RE-7B model behaalt een gemiddelde OOD-nauwkeurigheid van ongeveer 70%, vergelijkbaar met toonaangevende propriëtaire modellen zoals GPT-4o. Daarnaast biedt onze uitgebreide analyse nieuwe inzichten in de trainingsdynamiek en opkomende redeneergedragingen van het RLVR-paradigma voor RE.

English

Relationship extraction (RE) is a core task in natural language processing. Traditional approaches typically frame RE as a supervised learning problem, directly mapping context to labels-an approach that often suffers from poor out-of-domain (OOD) generalization. Inspired by the workflow of human annotators, we reframe RE as a reasoning task guided by annotation guidelines and introduce R1-RE, the first reinforcement learning with verifiable reward (RLVR) framework for RE tasks. Our method elicits the reasoning abilities of small language models for annotation tasks, resulting in significantly improved OOD robustness. We evaluate our approach on the public Sem-2010 dataset and a private MDKG dataset. The R1-RE-7B model attains an average OOD accuracy of approximately 70%, on par with leading proprietary models such as GPT-4o. Additionally, our comprehensive analysis provides novel insights into the training dynamics and emergent reasoning behaviors of the RLVR paradigm for RE.