COIG-P: Масштабный и высококачественный китайский набор данных о предпочтениях для согласования с человеческими ценностями

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Авторы: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Аннотация

Согласование крупных языковых моделей (LLM) с человеческими предпочтениями достигло значительных успехов. Однако существующие наборы данных по китайским предпочтениям ограничены небольшим масштабом, узким охватом доменов и отсутствием строгой проверки данных. Кроме того, зависимость от аннотаторов-людей для маркировки инструкций и ответов существенно ограничивает масштабируемость наборов данных по человеческим предпочтениям. Для решения этих проблем мы разработали автоматизированный конвейер аннотации набора данных по китайским предпочтениям на основе LLM без участия человека. В частности, мы собрали и тщательно отфильтровали 92 тыс. высококачественных китайских запросов и использовали 15 популярных LLM для генерации и оценки пар ответов "выбранный-отклонённый". На основе этого мы представляем COIG-P (Chinese Open Instruction Generalist - Preference) — высококачественный, масштабный набор данных по китайским предпочтениям, включающий 1 009 тыс. пар предпочтений, охватывающих 6 разнообразных доменов: Чат, Код, Математика, Логика, Роман и Роль. На основе COIG-P, чтобы снизить затраты на использование LLM для оценки, мы обучили китайскую модель вознаграждения (CRM) размером 8 млрд параметров и тщательно создали китайский бенчмарк вознаграждения (CRBench). Результаты оценки на основе AlignBench liu2024alignbenchbenchmarkingchinesealignment показывают, что COIG-P значительно превосходит другие наборы данных по китайским предпочтениям и обеспечивает существенное улучшение производительности в диапазоне от 2% до 12% для серий моделей Qwen2/2.5 и Infinity-Instruct-3M-0625 соответственно. Результаты на CRBench демонстрируют, что наша CRM обладает мощной и устойчивой способностью к оценке. Мы применили её для фильтрации пар "выбранный-отклонённый" в тестовой выборке COIG-P, и наши эксперименты показывают, что она сопоставима с GPT-4o в выявлении низкокачественных образцов, сохраняя при этом эффективность и экономичность. Наши коды и данные доступны по адресу https://github.com/multimodal-art-projection/COIG-P.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.