Pretraining mit hierarchischen Speichern: Trennung von Long-Tail- und Allgemeinwissen

Pretraining with hierarchical memories: separating long-tail and common knowledge

September 29, 2025

papers.authors: Hadi Pouransari, David Grangier, C Thomas, Michael Kirchhof, Oncel Tuzel

cs.AI

papers.abstract

Die beeindruckenden Leistungssteigerungen moderner Sprachmodelle beruhen derzeit auf der Skalierung von Parametern: größere Modelle speichern mehr Weltwissen und zeigen bessere Schlussfolgerungsfähigkeiten. Dennoch ist es unnötig, das gesamte Weltwissen in Parametern zu komprimieren, da nur ein Bruchteil davon pro Prompt verwendet wird, und es ist unpraktisch für Edge-Geräte mit begrenztem Speicher und Rechenleistung während der Inferenz. Wir beheben diesen Mangel durch eine speichererweiterte Architektur und eine Vorabtrainingsstrategie, die mit bestehenden Hardware-Paradigmen kompatibel ist. Wir stellen kleine Sprachmodelle vor, die auf große hierarchische parametrische Speicherbanken zugreifen, die Weltwissen kodieren. Während des Vorabtrainings und der Inferenz holen wir einen kleinen, kontextabhängigen Speicherblock ab und fügen ihn dem Modell hinzu. Unser Vorabtraining lernt, langfristiges Weltwissen in den Speicherparametern zu speichern, während das kleine Sprachmodell als Anker fungiert, der allgemeines Wissen und allgemeine Schlussfolgerungsfähigkeiten erfasst. Durch Experimente im Billionen-Token-Maßstab zeigen wir signifikante Verbesserungen: Ein Modell mit 160 Millionen Parametern, das mit einem 18 Millionen Parameter großen Speicher aus einer 4,6 Milliarden Parameter umfassenden Speicherbank erweitert wird, erreicht eine vergleichbare Leistung wie ein reguläres Modell mit mehr als doppelt so vielen Parametern. Durch umfangreiche Experimente untersuchen wir den optimalen Typ und die optimale Größe parametrischer Speicher in Transformern und skalieren sie auf über 21 Milliarden Parameter. Wir stellen fest, dass unsere vorgeschlagenen hierarchischen Feed-Forward-Speicher robust über verschiedene Transformer-Architekturen hinweg funktionieren, unabhängig davon, ob sie während des Vorabtrainings oder nachträglich hinzugefügt werden.

English

The impressive performance gains of modern language models currently rely on scaling parameters: larger models store more world knowledge and reason better. Yet compressing all world knowledge into parameters is unnecessary, as only a fraction is used per prompt, and impractical for edge devices with limited inference-time memory and compute. We address this shortcoming by a memory-augmented architecture and a pretraining strategy aligned with existing hardware paradigms. We introduce small language models that access large hierarchical parametric memory banks encoding world knowledge. During pretraining and inference, we fetch a small, context-dependent memory block and add it to the model. Our pretraining learns to store long-tail world knowledge in the memory parameters, while the small language model acts as an anchor capturing common knowledge and general reasoning abilities. Through trillion-token-scale experiments, we show significant gains: a 160M-parameters model augmented with an 18M-parameters memory fetched from a 4.6B memory bank obtains comparable performance to a regular model with more than 2x the parameters. Through extensive experiments, we study the optimal type and size of parametric memories in transformers, scaling them to over 21B parameters. We find that our proposed hierarchical feed-forward memories work robustly across transformer architectures, whether added during pretraining or post-hoc.