COIG-P: Ein hochwertiges und umfangreiches chinesisches Präferenzdatensatz zur Ausrichtung an menschlichen Werten

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Autoren: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Zusammenfassung

Die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen hat bemerkenswerte Erfolge erzielt. Allerdings sind bestehende chinesische Präferenzdatensätze durch ihren geringen Umfang, begrenzte Domänenabdeckung und mangelnde rigorose Datenvalidierung eingeschränkt. Zudem behindert die Abhängigkeit von menschlichen Annotatoren für die Beschriftung von Anweisungen und Antworten die Skalierbarkeit von Präferenzdatensätzen erheblich. Um diese Herausforderungen zu bewältigen, haben wir eine auf LLMs basierende Pipeline zur Annotation chinesischer Präferenzdatensätze ohne menschliches Eingreifen entwickelt. Konkret haben wir 92.000 hochwertige chinesische Anfragen gesammelt und sorgfältig gefiltert sowie 15 gängige LLMs eingesetzt, um ausgewählte-verworfene Antwortpaare zu generieren und zu bewerten. Darauf aufbauend stellen wir COIG-P (Chinese Open Instruction Generalist - Preference) vor, einen hochwertigen, groß angelegten chinesischen Präferenzdatensatz, der 1.009.000 chinesische Präferenzpaare aus 6 verschiedenen Domänen umfasst: Chat, Code, Mathematik, Logik, Roman und Rolle. Basierend auf COIG-P haben wir, um den Aufwand für die Bewertung durch LLMs zu reduzieren, ein 8B-großes chinesisches Belohnungsmodell (CRM) trainiert und sorgfältig ein chinesisches Belohnungs-Benchmark (CRBench) erstellt. Evaluierungsergebnisse basierend auf AlignBench liu2024alignbenchbenchmarkingchinesealignment zeigen, dass COIG-P andere chinesische Präferenzdatensätze deutlich übertrifft und signifikante Leistungssteigerungen von 2% bis 12% für die Qwen2/2.5- und Infinity-Instruct-3M-0625-Modellreihen bringt. Die Ergebnisse auf CRBench demonstrieren, dass unser CRM eine starke und robuste Bewertungsfähigkeit besitzt. Wir wenden es an, um ausgewählte-verworfene Antwortpaare in einem Test-Split von COIG-P zu filtern, und unsere Experimente zeigen, dass es bei der Identifizierung von minderwertigen Proben mit GPT-4o vergleichbar ist, während es Effizienz und Kosteneffektivität beibehält. Unsere Codes und Daten sind unter https://github.com/multimodal-art-projection/COIG-P veröffentlicht.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.