SmallThinker: Een Familie van Efficiënte Taalmodellen op Schaal die Inheems zijn Getraind voor Lokale Implementatie

Samenvatting

Hoewel grensverleggende grote taalmodellen (LLMs) de mogelijkheden blijven uitbreiden, blijft hun inzet beperkt tot GPU-aangedreven cloudinfrastructuur. Wij dagen dit paradigma uit met SmallThinker, een familie van LLMs die van nature zijn ontworpen - niet aangepast - voor de unieke beperkingen van lokale apparaten: zwakke rekenkracht, beperkt geheugen en trage opslag. In tegenstelling tot traditionele benaderingen die voornamelijk bestaande modellen voor de cloud comprimeren, ontwerpen wij SmallThinker vanaf de grond om binnen deze beperkingen te gedijen. Onze innovatie ligt in een implementatiebewuste architectuur die beperkingen omzet in ontwerp principes. Ten eerste introduceren we een tweelaagse sparse structuur die fijnmazige Mixture-of-Experts (MoE) combineert met sparse feed-forward netwerken, waardoor de rekenkundige eisen drastisch worden verminderd zonder in te leveren op modelcapaciteit. Ten tweede, om de I/O-knelpunt van trage opslag te overwinnen, ontwerpen we een pre-attention router die onze mede-ontworpen inferentie-engine in staat stelt om expertparameters uit de opslag te prefetchen terwijl aandacht wordt berekend, waardoor de opslaglatentie effectief wordt verborgen die anders de on-device inferentie zou verlammen. Ten derde, voor geheugenefficiëntie, maken we gebruik van het NoPE-RoPE hybride sparse aandachtmechanisme om de KV-cache vereisten te verminderen. We brengen SmallThinker-4B-A0.6B en SmallThinker-21B-A3B uit, die state-of-the-art prestatiescores behalen en zelfs grotere LLMs overtreffen. Opmerkelijk is dat ons mede-ontworpen systeem grotendeels de behoefte aan dure GPU-hardware elimineert: met Q4_0 kwantisering overschrijden beide modellen 20 tokens/s op gewone consumenten-CPU's, terwijl ze slechts 1GB en 8GB geheugen verbruiken. SmallThinker is publiekelijk beschikbaar op hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct en hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.

English

While frontier large language models (LLMs) continue to push capability boundaries, their deployment remains confined to GPU-powered cloud infrastructure. We challenge this paradigm with SmallThinker, a family of LLMs natively designed - not adapted - for the unique constraints of local devices: weak computational power, limited memory, and slow storage. Unlike traditional approaches that mainly compress existing models built for clouds, we architect SmallThinker from the ground up to thrive within these limitations. Our innovation lies in a deployment-aware architecture that transforms constraints into design principles. First, We introduce a two-level sparse structure combining fine-grained Mixture-of-Experts (MoE) with sparse feed-forward networks, drastically reducing computational demands without sacrificing model capacity. Second, to conquer the I/O bottleneck of slow storage, we design a pre-attention router that enables our co-designed inference engine to prefetch expert parameters from storage while computing attention, effectively hiding storage latency that would otherwise cripple on-device inference. Third, for memory efficiency, we utilize NoPE-RoPE hybrid sparse attention mechanism to slash KV cache requirements. We release SmallThinker-4B-A0.6B and SmallThinker-21B-A3B, which achieve state-of-the-art performance scores and even outperform larger LLMs. Remarkably, our co-designed system mostly eliminates the need for expensive GPU hardware: with Q4_0 quantization, both models exceed 20 tokens/s on ordinary consumer CPUs, while consuming only 1GB and 8GB of memory respectively. SmallThinker is publicly available at hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct and hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.

SmallThinker: Een Familie van Efficiënte Taalmodellen op Schaal die Inheems zijn Getraind voor Lokale Implementatie

SmallThinker: A Family of Efficient Large Language Models Natively Trained for Local Deployment

Samenvatting

Support