RedOne: ソーシャルネットワーキングサービスにおけるドメイン特化型LLMのポストトレーニングの解明

RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

July 13, 2025

著者: Fei Zhao, Chonggang Lu, Yue Wang, Zheyong Xie, Ziyan Liu, Haofu Qian, JianZhao Huang, Fangcheng Shi, Zijie Meng, Hongcheng Guo, Mingqian He, Xinze Lyu, Yiming Lu, Ziyang Xiang, Zheyu Ye, Chengqiang Lu, Zhe Xu, Yi Wu, Yao Hu, Yan Gao, Jun Fan, Xiaolong Jiang, Weiting Liu, Boyang Wang, Shaosheng Cao

cs.AI

要旨

現代の情報伝達の主要な媒体として、ソーシャルネットワーキングサービス（SNS）は急速な成長を遂げており、プラットフォームのコンテンツ管理とインタラクション品質の向上に重要な課題を提起しています。最近、大規模言語モデル（LLM）の開発が潜在的な解決策を提供していますが、既存の研究は個別のタスクに焦点を当てており、個々のシナリオ内でのデータスケーリングによる利益の逓減に直面するだけでなく、多様な現実世界の文脈に柔軟に適応することができません。これらの課題に対処するため、我々はRedOneを紹介します。これは、単一タスクベースラインの性能ボトルネックを打破し、SNSのための包括的な基盤を確立するために設計されたドメイン固有のLLMです。RedOneは、大規模な実世界のデータセットを使用し、継続的な事前学習、教師ありファインチューニング、および選好最適化からなる3段階のトレーニング戦略を通じて開発されました。広範な実験を通じて、RedOneは強力な汎用能力を維持し、8つの主要なSNSタスクで平均14.02%、SNSの二言語評価ベンチマークで7.56%の改善を達成しました。さらに、オンラインテストでは、RedOneは有害コンテンツ検出における露出率を11.23%削減し、投稿閲覧検索におけるクリックページ率を14.95%向上させました。これらの結果は、RedOneがSNSのための堅牢なドメイン固有のLLMとして確立され、さまざまなタスクにわたる優れた汎化能力と現実世界のシナリオでの有望な適用性を示しています。

English

As a primary medium for modern information dissemination, social networking services (SNS) have experienced rapid growth, which has proposed significant challenges for platform content management and interaction quality improvement. Recently, the development of large language models (LLMs) has offered potential solutions but existing studies focus on isolated tasks, which not only encounter diminishing benefit from the data scaling within individual scenarios but also fail to flexibly adapt to diverse real-world context. To address these challenges, we introduce RedOne, a domain-specific LLM designed to break the performance bottleneck of single-task baselines and establish a comprehensive foundation for the SNS. RedOne was developed through a three-stage training strategy consisting of continue pretraining, supervised fine-tuning, and preference optimization, using a large-scale real-world dataset. Through extensive experiments, RedOne maintains strong general capabilities, and achieves an average improvement up to 14.02% across 8 major SNS tasks and 7.56% in SNS bilingual evaluation benchmark, compared with base models. Furthermore, through online testing, RedOne reduced the exposure rate in harmful content detection by 11.23% and improved the click page rate in post-view search by 14.95% compared with single-tasks finetuned baseline models. These results establish RedOne as a robust domain-specific LLM for SNS, demonstrating excellent generalization across various tasks and promising applicability in real-world scenarios.