RedOne : Révéler l'adaptation post-formation spécifique au domaine des LLM dans les services de réseautage social

papers.abstract

En tant que principal vecteur de diffusion de l'information moderne, les services de réseaux sociaux (SNS) ont connu une croissance rapide, ce qui a posé des défis importants en matière de gestion du contenu des plateformes et d'amélioration de la qualité des interactions. Récemment, le développement des grands modèles de langage (LLM) a offert des solutions potentielles, mais les études existantes se concentrent sur des tâches isolées, ce qui non seulement limite les bénéfices de la mise à l'échelle des données dans des scénarios individuels, mais empêche également une adaptation flexible à divers contextes réels. Pour relever ces défis, nous présentons RedOne, un LLM spécifique à un domaine conçu pour surmonter les limites de performance des modèles de base à tâche unique et établir une base complète pour les SNS. RedOne a été développé grâce à une stratégie d'entraînement en trois étapes comprenant un pré-entraînement continu, un ajustement fin supervisé et une optimisation des préférences, en utilisant un ensemble de données à grande échelle issues du monde réel. À travers des expériences approfondies, RedOne maintient de solides capacités générales et obtient une amélioration moyenne allant jusqu'à 14,02 % sur 8 tâches majeures des SNS et de 7,56 % dans un benchmark d'évaluation bilingue des SNS, par rapport aux modèles de base. De plus, lors de tests en ligne, RedOne a réduit le taux d'exposition dans la détection de contenus nuisibles de 11,23 % et amélioré le taux de clics dans la recherche de publications de 14,95 % par rapport aux modèles de base ajustés pour des tâches uniques. Ces résultats établissent RedOne comme un LLM robuste et spécifique aux SNS, démontrant une excellente généralisation à travers diverses tâches et une applicabilité prometteuse dans des scénarios réels.

English

As a primary medium for modern information dissemination, social networking services (SNS) have experienced rapid growth, which has proposed significant challenges for platform content management and interaction quality improvement. Recently, the development of large language models (LLMs) has offered potential solutions but existing studies focus on isolated tasks, which not only encounter diminishing benefit from the data scaling within individual scenarios but also fail to flexibly adapt to diverse real-world context. To address these challenges, we introduce RedOne, a domain-specific LLM designed to break the performance bottleneck of single-task baselines and establish a comprehensive foundation for the SNS. RedOne was developed through a three-stage training strategy consisting of continue pretraining, supervised fine-tuning, and preference optimization, using a large-scale real-world dataset. Through extensive experiments, RedOne maintains strong general capabilities, and achieves an average improvement up to 14.02% across 8 major SNS tasks and 7.56% in SNS bilingual evaluation benchmark, compared with base models. Furthermore, through online testing, RedOne reduced the exposure rate in harmful content detection by 11.23% and improved the click page rate in post-view search by 14.95% compared with single-tasks finetuned baseline models. These results establish RedOne as a robust domain-specific LLM for SNS, demonstrating excellent generalization across various tasks and promising applicability in real-world scenarios.

RedOne : Révéler l'adaptation post-formation spécifique au domaine des LLM dans les services de réseautage social

RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

papers.abstract

Support