Поиск, проверка и обратная связь: к следующему поколению посттренировочной парадигмы фундаментальных моделей через инженерию верификаторов.

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Авторы: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Аннотация

Эволюция машинного обучения все более акцентирует внимание на разработке мощных моделей и более масштабируемых сигналов надзора. Однако появление фундаментальных моделей представляет существенные вызовы в обеспечении эффективных сигналов надзора, необходимых для дальнейшего улучшения их возможностей. Следовательно, существует настоятельная необходимость исследования новых сигналов надзора и технических подходов. В данной статье мы предлагаем концепцию инженерии верификации, новую парадигму посттренировочного этапа, специально разработанную для эпохи фундаментальных моделей. Основу инженерии верификации составляет использование набора автоматизированных верификаторов для выполнения задач верификации и предоставления содержательной обратной связи фундаментальным моделям. Мы систематически классифицируем процесс инженерии верификации на три основных этапа: поиск, верификация и обратная связь, и предоставляем всесторонний обзор последних достижений в области исследований в рамках каждого этапа. Мы считаем, что инженерия верификации представляет собой фундаментальный путь к достижению искусственного общего интеллекта.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.