Búsqueda, Verificación y Retroalimentación: Hacia la Próxima Generación de Paradigma de Post-entrenamiento de Modelos Fundamentales a través de la Ingeniería de Verificadores.

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Autores: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Resumen

La evolución del aprendizaje automático ha priorizado cada vez más el desarrollo de modelos potentes y señales de supervisión más escalables. Sin embargo, la aparición de modelos fundamentales presenta desafíos significativos en cuanto a proporcionar señales de supervisión efectivas necesarias para mejorar aún más sus capacidades. En consecuencia, existe una necesidad urgente de explorar señales de supervisión y enfoques técnicos novedosos. En este documento, proponemos la ingeniería de verificadores, un novedoso paradigma de post-entrenamiento diseñado específicamente para la era de los modelos fundamentales. El núcleo de la ingeniería de verificadores implica aprovechar un conjunto de verificadores automatizados para realizar tareas de verificación y proporcionar retroalimentación significativa a los modelos fundamentales. Categorizamos sistemáticamente el proceso de ingeniería de verificadores en tres etapas esenciales: búsqueda, verificación y retroalimentación, y ofrecemos una revisión exhaustiva de los desarrollos de investigación de vanguardia en cada etapa. Creemos que la ingeniería de verificadores constituye un camino fundamental hacia la consecución de la Inteligencia Artificial General.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.