RedOne: Het onthullen van domeinspecifieke LLM-posttraining in sociale netwerkdiensten

Samenvatting

Als primair medium voor moderne informatieverspreiding hebben sociale netwerkdiensten (SNS) een snelle groei doorgemaakt, wat aanzienlijke uitdagingen heeft opgeleverd voor het beheer van platforminhoud en de verbetering van interactiekwaliteit. Recentelijk heeft de ontwikkeling van grote taalmodellen (LLM's) potentiële oplossingen geboden, maar bestaande studies richten zich op geïsoleerde taken, wat niet alleen leidt tot afnemende voordelen van dataschaalvergroting binnen individuele scenario's, maar ook niet flexibel kan inspelen op diverse real-world contexten. Om deze uitdagingen aan te pakken, introduceren we RedOne, een domeinspecifiek LLM dat is ontworpen om de prestatiebottleneck van single-task baseline-modellen te doorbreken en een uitgebreide basis te leggen voor SNS. RedOne is ontwikkeld via een drietraps trainingsstrategie bestaande uit voortgezette pretraining, supervised fine-tuning en voorkeursoptimalisatie, waarbij gebruik is gemaakt van een grootschalige real-world dataset. Door uitgebreide experimenten behoudt RedOne sterke algemene capaciteiten en behaalt het een gemiddelde verbetering van maximaal 14,02% over 8 belangrijke SNS-taken en 7,56% in de SNS tweetalige evaluatiebenchmark, vergeleken met basismodellen. Bovendien heeft RedOne tijdens online tests het blootstellingspercentage in schadelijke inhouddetectie met 11,23% verminderd en de klikpaginaratio in post-view zoekopdrachten met 14,95% verbeterd, vergeleken met single-task fine-tuned baseline-modellen. Deze resultaten positioneren RedOne als een robuust domeinspecifiek LLM voor SNS, dat uitstekende generalisatie over verschillende taken demonstreert en veelbelovende toepasbaarheid in real-world scenario's laat zien.

English

As a primary medium for modern information dissemination, social networking services (SNS) have experienced rapid growth, which has proposed significant challenges for platform content management and interaction quality improvement. Recently, the development of large language models (LLMs) has offered potential solutions but existing studies focus on isolated tasks, which not only encounter diminishing benefit from the data scaling within individual scenarios but also fail to flexibly adapt to diverse real-world context. To address these challenges, we introduce RedOne, a domain-specific LLM designed to break the performance bottleneck of single-task baselines and establish a comprehensive foundation for the SNS. RedOne was developed through a three-stage training strategy consisting of continue pretraining, supervised fine-tuning, and preference optimization, using a large-scale real-world dataset. Through extensive experiments, RedOne maintains strong general capabilities, and achieves an average improvement up to 14.02% across 8 major SNS tasks and 7.56% in SNS bilingual evaluation benchmark, compared with base models. Furthermore, through online testing, RedOne reduced the exposure rate in harmful content detection by 11.23% and improved the click page rate in post-view search by 14.95% compared with single-tasks finetuned baseline models. These results establish RedOne as a robust domain-specific LLM for SNS, demonstrating excellent generalization across various tasks and promising applicability in real-world scenarios.

RedOne: Het onthullen van domeinspecifieke LLM-posttraining in sociale netwerkdiensten

RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

Samenvatting

Support