SmallThinker: Una Famiglia di Modelli Linguistici di Grandi Dimensioni Efficienti Addestrati Nativamente per il Deployment Locale

SmallThinker: A Family of Efficient Large Language Models Natively Trained for Local Deployment

July 28, 2025

Autori: Yixin Song, Zhenliang Xue, Dongliang Wei, Feiyang Chen, Jianxiang Gao, Junchen Liu, Hangyu Liang, Guangshuo Qin, Chengrong Tian, Bo Wen, Longyu Zhao, Xinrui Zheng, Zeyu Mi, Haibo Chen

cs.AI

Abstract

Mentre i modelli linguistici di grandi dimensioni (LLM) all'avanguardia continuano a spingere i confini delle capacità, il loro dispiegamento rimane confinato a infrastrutture cloud alimentate da GPU. Noi sfidiamo questo paradigma con SmallThinker, una famiglia di LLM progettati nativamente - non adattati - per i vincoli unici dei dispositivi locali: potenza computazionale ridotta, memoria limitata e archiviazione lenta. A differenza degli approcci tradizionali che comprimono principalmente modelli esistenti costruiti per il cloud, noi progettiamo SmallThinker da zero per prosperare all'interno di questi limiti. La nostra innovazione risiede in un'architettura consapevole del dispiegamento che trasforma i vincoli in principi di progettazione. In primo luogo, introduciamo una struttura sparsa a due livelli che combina una Mixture-of-Experts (MoE) a grana fine con reti feed-forward sparse, riducendo drasticamente le richieste computazionali senza sacrificare la capacità del modello. In secondo luogo, per superare il collo di bottiglia I/O dell'archiviazione lenta, progettiamo un router pre-attention che consente al nostro motore di inferenza co-progettato di prelevare i parametri degli esperti dall'archiviazione mentre calcola l'attenzione, nascondendo efficacemente la latenza di archiviazione che altrimenti comprometterebbe l'inferenza sul dispositivo. In terzo luogo, per l'efficienza della memoria, utilizziamo un meccanismo di attenzione sparsa ibrido NoPE-RoPE per ridurre drasticamente i requisiti della cache KV. Rilasciamo SmallThinker-4B-A0.6B e SmallThinker-21B-A3B, che raggiungono punteggi di prestazione all'avanguardia e superano persino LLM più grandi. Notevolmente, il nostro sistema co-progettato elimina per lo più la necessità di costose hardware GPU: con la quantizzazione Q4_0, entrambi i modelli superano i 20 token/s su CPU consumer ordinarie, consumando rispettivamente solo 1GB e 8GB di memoria. SmallThinker è disponibile pubblicamente su hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct e hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.

English

While frontier large language models (LLMs) continue to push capability boundaries, their deployment remains confined to GPU-powered cloud infrastructure. We challenge this paradigm with SmallThinker, a family of LLMs natively designed - not adapted - for the unique constraints of local devices: weak computational power, limited memory, and slow storage. Unlike traditional approaches that mainly compress existing models built for clouds, we architect SmallThinker from the ground up to thrive within these limitations. Our innovation lies in a deployment-aware architecture that transforms constraints into design principles. First, We introduce a two-level sparse structure combining fine-grained Mixture-of-Experts (MoE) with sparse feed-forward networks, drastically reducing computational demands without sacrificing model capacity. Second, to conquer the I/O bottleneck of slow storage, we design a pre-attention router that enables our co-designed inference engine to prefetch expert parameters from storage while computing attention, effectively hiding storage latency that would otherwise cripple on-device inference. Third, for memory efficiency, we utilize NoPE-RoPE hybrid sparse attention mechanism to slash KV cache requirements. We release SmallThinker-4B-A0.6B and SmallThinker-21B-A3B, which achieve state-of-the-art performance scores and even outperform larger LLMs. Remarkably, our co-designed system mostly eliminates the need for expensive GPU hardware: with Q4_0 quantization, both models exceed 20 tokens/s on ordinary consumer CPUs, while consuming only 1GB and 8GB of memory respectively. SmallThinker is publicly available at hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct and hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.