Principes van synthetische data maken de eerste schaalwetten voor LLM's in aanbevelingen mogelijk

Samenvatting

Grote Taalmodellen (GTM'en) vertegenwoordigen een veelbelovende grens voor aanbevelingssystemen, maar hun ontwikkeling is belemmerd door het ontbreken van voorspelbare schaalwetten, die cruciaal zijn voor het sturen van onderzoek en het optimaliseren van middelenallocatie. Wij veronderstellen dat dit kan worden toegeschreven aan de inherente ruis, vertekening en onvolledigheid van ruwe gebruikersinteractiegegevens in eerdere inspanningen voor continu vooraf trainen (CVT). Dit artikel introduceert een nieuw, gelaagd raamwerk voor het genereren van hoogwaardige synthetische gegevens die deze problemen omzeilt door een gecureerd, pedagogisch curriculum voor het GTM te creëren. Wij leveren krachtig, direct bewijs voor het nut van ons curriculum door aan te tonen dat standaard sequentiële modellen die zijn getraind op onze principiële synthetische gegevens, modellen die zijn getraind op echte gegevens significant overtreffen (+130% op recall@100 voor SasRec) in downstream rangschikkingstaken, wat de superioriteit aantoont voor het leren van generaliseerbare gebruikersvoorkeurpatronen. Voortbouwend hierop tonen wij empirisch, voor het eerst, robuuste machtswet-schaling aan voor een GTM dat continu wordt voorgetraind op onze hoogwaardige, aanbevelingsspecifieke gegevens. Onze experimenten onthullen consistente en voorspelbare perplexiteitsreductie over meerdere synthetische datamodaliteiten. Deze bevindingen vestigen een fundamentele methodologie voor betrouwbare schaalvergroting van GTM-capaciteiten in het aanbevelingsdomein, waardoor de onderzoeksfocus verschuift van het mitigeren van datatekorten naar het benutten van hoogwaardige, gestructureerde informatie.

English

Large Language Models (LLMs) represent a promising frontier for recommender systems, yet their development has been impeded by the absence of predictable scaling laws, which are crucial for guiding research and optimizing resource allocation. We hypothesize that this may be attributed to the inherent noise, bias, and incompleteness of raw user interaction data in prior continual pre-training (CPT) efforts. This paper introduces a novel, layered framework for generating high-quality synthetic data that circumvents such issues by creating a curated, pedagogical curriculum for the LLM. We provide powerful, direct evidence for the utility of our curriculum by showing that standard sequential models trained on our principled synthetic data significantly outperform (+130% on recall@100 for SasRec) models trained on real data in downstream ranking tasks, demonstrating its superiority for learning generalizable user preference patterns. Building on this, we empirically demonstrate, for the first time, robust power-law scaling for an LLM that is continually pre-trained on our high-quality, recommendation-specific data. Our experiments reveal consistent and predictable perplexity reduction across multiple synthetic data modalities. These findings establish a foundational methodology for reliable scaling LLM capabilities in the recommendation domain, thereby shifting the research focus from mitigating data deficiencies to leveraging high-quality, structured information.

Principes van synthetische data maken de eerste schaalwetten voor LLM's in aanbevelingen mogelijk

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

Samenvatting

Support