RedOne: Revelando el ajuste posentrenamiento de LLM específico de dominio en servicios de redes sociales

Resumen

Como un medio principal para la diseminación de información moderna, los servicios de redes sociales (SNS, por sus siglas en inglés) han experimentado un crecimiento acelerado, lo cual ha planteado desafíos significativos para la gestión de contenido en las plataformas y la mejora de la calidad de las interacciones. Recientemente, el desarrollo de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ha ofrecido soluciones potenciales, pero los estudios existentes se centran en tareas aisladas, lo que no solo enfrenta beneficios decrecientes debido al escalamiento de datos en escenarios individuales, sino que también falla en adaptarse de manera flexible a diversos contextos del mundo real. Para abordar estos desafíos, presentamos RedOne, un LLM específico para el dominio diseñado para superar el cuello de botella en el rendimiento de los modelos base de tarea única y establecer una base integral para los SNS. RedOne fue desarrollado mediante una estrategia de entrenamiento en tres etapas que incluye preentrenamiento continuo, ajuste fino supervisado y optimización de preferencias, utilizando un conjunto de datos a gran escala del mundo real. A través de experimentos extensivos, RedOne mantiene capacidades generales sólidas y logra una mejora promedio de hasta el 14.02% en 8 tareas principales de SNS y un 7.56% en el benchmark de evaluación bilingüe de SNS, en comparación con los modelos base. Además, mediante pruebas en línea, RedOne redujo la tasa de exposición en la detección de contenido dañino en un 11.23% y mejoró la tasa de clics en la búsqueda post-vista en un 14.95%, en comparación con los modelos base ajustados para tareas únicas. Estos resultados establecen a RedOne como un LLM específico para el dominio robusto para SNS, demostrando una excelente generalización en diversas tareas y una aplicabilidad prometedora en escenarios del mundo real.

English

As a primary medium for modern information dissemination, social networking services (SNS) have experienced rapid growth, which has proposed significant challenges for platform content management and interaction quality improvement. Recently, the development of large language models (LLMs) has offered potential solutions but existing studies focus on isolated tasks, which not only encounter diminishing benefit from the data scaling within individual scenarios but also fail to flexibly adapt to diverse real-world context. To address these challenges, we introduce RedOne, a domain-specific LLM designed to break the performance bottleneck of single-task baselines and establish a comprehensive foundation for the SNS. RedOne was developed through a three-stage training strategy consisting of continue pretraining, supervised fine-tuning, and preference optimization, using a large-scale real-world dataset. Through extensive experiments, RedOne maintains strong general capabilities, and achieves an average improvement up to 14.02% across 8 major SNS tasks and 7.56% in SNS bilingual evaluation benchmark, compared with base models. Furthermore, through online testing, RedOne reduced the exposure rate in harmful content detection by 11.23% and improved the click page rate in post-view search by 14.95% compared with single-tasks finetuned baseline models. These results establish RedOne as a robust domain-specific LLM for SNS, demonstrating excellent generalization across various tasks and promising applicability in real-world scenarios.

RedOne: Revelando el ajuste posentrenamiento de LLM específico de dominio en servicios de redes sociales

RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

Resumen

Support