Evaluación Comparativa Basada en Rúbricas y Aprendizaje por Refuerzo para Avanzar en la Capacidad de Seguimiento de Instrucciones de los Modelos de Lenguaje Grandes
Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following
November 13, 2025
Autores: Yun He, Wenzhe Li, Hejia Zhang, Songlin Li, Karishma Mandyam, Sopan Khosla, Yuanhao Xiong, Nanshu Wang, Selina Peng, Beibin Li, Shengjie Bi, Shishir G. Patil, Qi Qi, Shengyu Feng, Julian Katz-Samuels, Richard Yuanzhe Pang, Sujan Gonugondla, Hunter Lang, Yue Yu, Yundi Qian, Maryam Fazel-Zarandi, Licheng Yu, Amine Benhalloum, Hany Awadalla, Manaal Faruqui
cs.AI
Resumen
Los recientes avances en los modelos de lenguaje a gran escala (LLMs) han logrado un rendimiento impresionante en diversas tareas; sin embargo, la capacidad avanzada de seguimiento de instrucciones (IF), especialmente para instrucciones complejas, multiturno y con indicaciones de sistema, sigue siendo un desafío significativo. La evaluación rigurosa y el entrenamiento efectivo para dichas capacidades se ven obstaculizados por la falta de puntos de referencia de alta calidad anotados por humanos y de señales de recompensa confiables e interpretables. En este trabajo, presentamos AdvancedIF (próximamente liberaremos este benchmark), un punto de referencia integral que incluye más de 1.600 indicaciones y rúbricas curadas por expertos que evalúan la capacidad de los LLMs para seguir instrucciones complejas, multiturno y a nivel de sistema. Además, proponemos RIFL (Aprendizaje de Seguimiento de Instrucciones Basado en Rúbricas), una novedosa canalización de post-entrenamiento que aprovecha la generación de rúbricas, un verificador de rúbricas ajustado y la configuración de recompensas para permitir un aprendizaje por refuerzo efectivo en el seguimiento de instrucciones. Experimentos exhaustivos demuestran que RIFL mejora sustancialmente las capacidades de seguimiento de instrucciones de los LLMs, logrando una ganancia absoluta del 6.7% en AdvancedIF y resultados sólidos en puntos de referencia públicos. Nuestros estudios de ablación confirman la efectividad de cada componente en RIFL. Este trabajo establece a las rúbricas como una herramienta poderosa tanto para entrenar como para evaluar el IF avanzado en LLMs, allanando el camino para sistemas de IA más capaces y confiables.
English
Recent progress in large language models (LLMs) has led to impressive performance on a range of tasks, yet advanced instruction following (IF)-especially for complex, multi-turn, and system-prompted instructions-remains a significant challenge. Rigorous evaluation and effective training for such capabilities are hindered by the lack of high-quality, human-annotated benchmarks and reliable, interpretable reward signals. In this work, we introduce AdvancedIF (we will release this benchmark soon), a comprehensive benchmark featuring over 1,600 prompts and expert-curated rubrics that assess LLMs ability to follow complex, multi-turn, and system-level instructions. We further propose RIFL (Rubric-based Instruction-Following Learning), a novel post-training pipeline that leverages rubric generation, a finetuned rubric verifier, and reward shaping to enable effective reinforcement learning for instruction following. Extensive experiments demonstrate that RIFL substantially improves the instruction-following abilities of LLMs, achieving a 6.7% absolute gain on AdvancedIF and strong results on public benchmarks. Our ablation studies confirm the effectiveness of each component in RIFL. This work establishes rubrics as a powerful tool for both training and evaluating advanced IF in LLMs, paving the way for more capable and reliable AI systems.