Принципиально синтетические данные позволяют впервые установить степенные законы масштабирования больших языковых моделей в рекомендательных системах

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

February 7, 2026

Авторы: Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei Wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Xiangjun Fan, Hong Yan

cs.AI

Аннотация

Крупные языковые модели (LLM) представляют собой перспективное направление для систем рекомендаций, однако их развитие сдерживалось отсутствием предсказуемых законов масштабирования, которые крайне важны для направления исследований и оптимизации распределения ресурсов. Мы предполагаем, что это может быть связано с присущими исходным данным о пользовательских взаимодействиях шумом, смещениями и неполнотой в предыдущих подходах к непрерывному предварительному обучению (CPT). В данной статье представлена новая многоуровневая структура для генерации высококачественных синтетических данных, которая позволяет обойти эти проблемы за счет создания курируемого педагогического учебного плана для LLM. Мы предоставляем убедительные прямые доказательства полезности нашего учебного плана, демонстрируя, что стандартные последовательные модели, обученные на наших принципиально синтетических данных, значительно превосходят (на +130% по метрике recall@100 для SasRec) модели, обученные на реальных данных, в задачах ранжирования, что подтверждает их превосходство в изучении обобщаемых паттернов пользовательских предпочтений. Основываясь на этом, мы впервые эмпирически демонстрируем устойчивое степенное масштабирование для LLM, которая непрерывно дообучается на наших высококачественных, специфичных для рекомендаций данных. Наши эксперименты выявляют последовательное и предсказуемое снижение перплексии для нескольких модальностей синтетических данных. Эти результаты устанавливают фундаментальную методологию для надежного масштабирования возможностей LLM в области рекомендательных систем, тем самым смещая фокус исследований с устранения недостатков данных на использование высококачественной структурированной информации.

English

Large Language Models (LLMs) represent a promising frontier for recommender systems, yet their development has been impeded by the absence of predictable scaling laws, which are crucial for guiding research and optimizing resource allocation. We hypothesize that this may be attributed to the inherent noise, bias, and incompleteness of raw user interaction data in prior continual pre-training (CPT) efforts. This paper introduces a novel, layered framework for generating high-quality synthetic data that circumvents such issues by creating a curated, pedagogical curriculum for the LLM. We provide powerful, direct evidence for the utility of our curriculum by showing that standard sequential models trained on our principled synthetic data significantly outperform (+130% on recall@100 for SasRec) models trained on real data in downstream ranking tasks, demonstrating its superiority for learning generalizable user preference patterns. Building on this, we empirically demonstrate, for the first time, robust power-law scaling for an LLM that is continually pre-trained on our high-quality, recommendation-specific data. Our experiments reveal consistent and predictable perplexity reduction across multiple synthetic data modalities. These findings establish a foundational methodology for reliable scaling LLM capabilities in the recommendation domain, thereby shifting the research focus from mitigating data deficiencies to leveraging high-quality, structured information.