Pesquisa, Verificação e Feedback: Rumo à Próxima Geração de Paradigma de Pós-Treinamento de Modelos Fundamentais por meio da Engenharia de Verificadores

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Autores: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Resumo

A evolução do aprendizado de máquina tem priorizado cada vez mais o desenvolvimento de modelos poderosos e sinais de supervisão mais escaláveis. No entanto, o surgimento de modelos fundamentais apresenta desafios significativos na disponibilização de sinais de supervisão eficazes necessários para aprimorar ainda mais suas capacidades. Consequentemente, há uma necessidade urgente de explorar sinais de supervisão e abordagens técnicas inovadoras. Neste artigo, propomos a engenharia de verificadores, um novo paradigma pós-treinamento especificamente projetado para a era dos modelos fundamentais. O cerne da engenharia de verificadores envolve alavancar um conjunto de verificadores automatizados para realizar tarefas de verificação e fornecer feedback significativo aos modelos fundamentais. Categorizamos sistematicamente o processo de engenharia de verificadores em três estágios essenciais: busca, verificação e feedback, e fornecemos uma revisão abrangente dos desenvolvimentos de pesquisa de ponta dentro de cada estágio. Acreditamos que a engenharia de verificadores constitui um caminho fundamental para alcançar a Inteligência Artificial Geral.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.