R1-RE: Estrazione di Relazioni Cross-Dominio con RLVR

R1-RE: Cross-Domain Relationship Extraction with RLVR

July 7, 2025

Autori: Runpeng Dai, Tong Zheng, Run Yang, Hongtu Zhu

cs.AI

Abstract

L'estrazione di relazioni (RE) è un compito fondamentale nell'elaborazione del linguaggio naturale. Gli approcci tradizionali inquadrano tipicamente la RE come un problema di apprendimento supervisionato, mappando direttamente il contesto alle etichette, un metodo che spesso soffre di una scarsa generalizzazione fuori dominio (OOD). Ispirati dal flusso di lavoro degli annotatori umani, riformuliamo la RE come un compito di ragionamento guidato da linee guida di annotazione e introduciamo R1-RE, il primo framework di apprendimento per rinforzo con ricompensa verificabile (RLVR) per i compiti di RE. Il nostro metodo stimola le capacità di ragionamento di modelli linguistici di piccole dimensioni per i compiti di annotazione, ottenendo una robustezza OOD significativamente migliorata. Valutiamo il nostro approccio sul dataset pubblico Sem-2010 e su un dataset privato MDKG. Il modello R1-RE-7B raggiunge un'accuratezza OOD media di circa il 70%, in linea con i principali modelli proprietari come GPT-4o. Inoltre, la nostra analisi completa fornisce nuove intuizioni sulla dinamica di addestramento e sui comportamenti di ragionamento emergenti del paradigma RLVR per la RE.

English

Relationship extraction (RE) is a core task in natural language processing. Traditional approaches typically frame RE as a supervised learning problem, directly mapping context to labels-an approach that often suffers from poor out-of-domain (OOD) generalization. Inspired by the workflow of human annotators, we reframe RE as a reasoning task guided by annotation guidelines and introduce R1-RE, the first reinforcement learning with verifiable reward (RLVR) framework for RE tasks. Our method elicits the reasoning abilities of small language models for annotation tasks, resulting in significantly improved OOD robustness. We evaluate our approach on the public Sem-2010 dataset and a private MDKG dataset. The R1-RE-7B model attains an average OOD accuracy of approximately 70%, on par with leading proprietary models such as GPT-4o. Additionally, our comprehensive analysis provides novel insights into the training dynamics and emergent reasoning behaviors of the RLVR paradigm for RE.