Vektorisierung des Trie: Effiziente eingeschränkte Dekodierung für LLM-basierte generative Suche auf Beschleunigerhardware

Zusammenfassung

Generatives Retrieval hat sich als leistungsstarkes Paradigma für LLM-basierte Empfehlungssysteme etabliert. Industrielle Empfehlungssysteme profitieren jedoch oft davon, den Ausgaberaum auf eine eingeschränkte Teilmenge von Elementen basierend auf Geschäftslogik zu beschränken (z.B. zur Durchsetzung von Inhaltsaktualität oder Produktkategorien), was standardmäßiges autoregressives Decodieren von Haus aus nicht unterstützt. Darüber hinaus verursachen bestehende Methoden für eingeschränktes Decodieren, die Präfixbäume (Tries) verwenden, erhebliche Latenznachteile auf Hardwarebeschleunigern (TPUs/GPUs). In dieser Arbeit stellen wir STATIC (Sparse Transition Matrix-Accelerated Trie Index for Constrained Decoding) vor, eine effiziente und skalierbare Technik für eingeschränktes Decodieren, die speziell für hochdurchsatzfähiges, LLM-basiertes generatives Retrieval auf TPUs/GPUs entwickelt wurde. Indem wir den Präfixbaum in eine statische, komprimierte Sparse-Row-Matrix (CSR) abflachen, verwandeln wir unregelmäßige Baumdurchläufe in vollständig vektorisierte Sparse-Matrix-Operationen und erzielen damit massive Effizienzgewinne auf Hardwarebeschleunigern. Wir setzen STATIC auf einer groß angelegten industriellen Video-Empfehlungsplattform ein, die Milliarden von Nutzern bedient. STATIC erzielt signifikante Auswirkungen auf Produktmetriken mit minimalem Latenzoverhead (0,033 ms pro Schritt und 0,25 % der Inferenzzeit), erreicht eine 948-fache Beschleunigung gegenüber einer CPU-Trie-Implementierung und eine 47- bis 1033-fache Beschleunigung gegenüber einer hardwarebeschleunigten Binary-Search-Baseline. Darüber hinaus bleibt der Laufzeitoverhead von STATIC über eine breite Palette praktischer Konfigurationen extrem niedrig. Nach unserem besten Wissen ermöglicht STATIC den ersten produktionsreifen Einsatz von streng eingeschränktem generativem Retrieval. Zusätzlich zeigt die Auswertung akademischer Benchmarks, dass STATIC die Cold-Start-Leistung für generatives Retrieval erheblich verbessern kann. Unser Code ist verfügbar unter https://github.com/youtube/static-constraint-decoding.

English

Generative retrieval has emerged as a powerful paradigm for LLM-based recommendation. However, industrial recommender systems often benefit from restricting the output space to a constrained subset of items based on business logic (e.g. enforcing content freshness or product category), which standard autoregressive decoding cannot natively support. Moreover, existing constrained decoding methods that make use of prefix trees (Tries) incur severe latency penalties on hardware accelerators (TPUs/GPUs). In this work, we introduce STATIC (Sparse Transition Matrix-Accelerated Trie Index for Constrained Decoding), an efficient and scalable constrained decoding technique designed specifically for high-throughput LLM-based generative retrieval on TPUs/GPUs. By flattening the prefix tree into a static Compressed Sparse Row (CSR) matrix, we transform irregular tree traversals into fully vectorized sparse matrix operations, unlocking massive efficiency gains on hardware accelerators. We deploy STATIC on a large-scale industrial video recommendation platform serving billions of users. STATIC produces significant product metric impact with minimal latency overhead (0.033 ms per step and 0.25% of inference time), achieving a 948x speedup over a CPU trie implementation and a 47-1033x speedup over a hardware-accelerated binary-search baseline. Furthermore, the runtime overhead of STATIC remains extremely low across a wide range of practical configurations. To the best of our knowledge, STATIC enables the first production-scale deployment of strictly constrained generative retrieval. In addition, evaluation on academic benchmarks demonstrates that STATIC can considerably improve cold-start performance for generative retrieval. Our code is available at https://github.com/youtube/static-constraint-decoding.

Vektorisierung des Trie: Effiziente eingeschränkte Dekodierung für LLM-basierte generative Suche auf Beschleunigerhardware

Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators

Zusammenfassung

Support