COIG-P: 인간 가치 정렬을 위한 고품질 대규모 중국어 선호도 데이터셋

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

저자: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

초록

대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 작업은 놀라운 성과를 거두었습니다. 그러나 기존의 중국어 선호도 데이터셋은 규모가 작고, 도메인 범위가 좁으며, 엄격한 데이터 검증이 부족한 한계를 가지고 있습니다. 또한, 지침과 응답 라벨링을 위해 인간 주석자에 의존하는 방식은 인간 선호도 데이터셋의 확장성을 크게 제한합니다. 이러한 문제를 해결하기 위해, 우리는 인간 개입 없이 LLM 기반의 중국어 선호도 데이터셋 주석 파이프라인을 설계했습니다. 구체적으로, 우리는 92,000개의 고품질 중국어 질의를 크롤링하고 신중하게 필터링한 후, 15개의 주류 LLM을 사용하여 선택-거부 응답 쌍을 생성하고 점수를 매겼습니다. 이를 바탕으로, 우리는 COIG-P(Chinese Open Instruction Generalist - Preference)라는 고품질의 대규모 중국어 선호도 데이터셋을 소개합니다. 이 데이터셋은 채팅, 코드, 수학, 논리, 소설, 역할 등 6가지 다양한 도메인에 걸쳐 1,009,000개의 중국어 선호도 쌍으로 구성되어 있습니다. COIG-P를 기반으로, LLM을 사용한 점수 매기기의 오버헤드를 줄이기 위해, 우리는 8B 크기의 중국어 보상 모델(CRM)을 학습시키고 중국어 보상 벤치마크(CRBench)를 세심하게 구축했습니다. AlignBench(liu2024alignbenchbenchmarkingchinesealignment)를 기반으로 한 평가 결과, COIG-P는 다른 중국어 선호도 데이터셋을 크게 능가하며, Qwen2/2.5 및 Infinity-Instruct-3M-0625 모델 시리즈에서 각각 2%에서 12%에 이르는 성능 향상을 가져왔습니다. CRBench의 결과는 우리의 CRM이 강력하고 견고한 점수 매기기 능력을 가지고 있음을 보여줍니다. 우리는 이를 COIG-P의 테스트 분할에서 선택-거부 응답 쌍을 필터링하는 데 적용했으며, 실험 결과 GPT-4o와 비교하여 저품질 샘플을 식별하는 데 있어 효율성과 비용 효율성을 유지하면서도 비슷한 성능을 보였습니다. 우리의 코드와 데이터는 https://github.com/multimodal-art-projection/COIG-P에서 공개되었습니다.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.