SmallThinker: Una Familia de Modelos de Lenguaje Grande Eficientes Entrenados Nativamente para Implementación Local

SmallThinker: A Family of Efficient Large Language Models Natively Trained for Local Deployment

July 28, 2025

Autores: Yixin Song, Zhenliang Xue, Dongliang Wei, Feiyang Chen, Jianxiang Gao, Junchen Liu, Hangyu Liang, Guangshuo Qin, Chengrong Tian, Bo Wen, Longyu Zhao, Xinrui Zheng, Zeyu Mi, Haibo Chen

cs.AI

Resumen

Mientras que los modelos de lenguaje de gran escala (LLMs) de vanguardia continúan ampliando los límites de sus capacidades, su implementación sigue confinada a infraestructuras en la nube impulsadas por GPU. Desafiamos este paradigma con SmallThinker, una familia de LLMs diseñados nativamente —no adaptados— para las limitaciones únicas de los dispositivos locales: baja potencia computacional, memoria limitada y almacenamiento lento. A diferencia de los enfoques tradicionales que principalmente comprimen modelos existentes construidos para la nube, diseñamos SmallThinker desde cero para prosperar dentro de estas limitaciones. Nuestra innovación radica en una arquitectura consciente de la implementación que transforma las restricciones en principios de diseño. Primero, introducimos una estructura dispersa de dos niveles que combina una Mixture-of-Experts (MoE) de grano fino con redes de alimentación dispersas, reduciendo drásticamente las demandas computacionales sin sacrificar la capacidad del modelo. Segundo, para superar el cuello de botella de E/S del almacenamiento lento, diseñamos un enrutador de pre-atención que permite a nuestro motor de inferencia co-diseñado pre-cargar parámetros de expertos desde el almacenamiento mientras se calcula la atención, ocultando efectivamente la latencia del almacenamiento que de otro modo paralizaría la inferencia en el dispositivo. Tercero, para la eficiencia de memoria, utilizamos un mecanismo de atención dispersa híbrido NoPE-RoPE que reduce drásticamente los requisitos de la caché KV. Lanzamos SmallThinker-4B-A0.6B y SmallThinker-21B-A3B, que logran puntuaciones de rendimiento de vanguardia e incluso superan a LLMs más grandes. Notablemente, nuestro sistema co-diseñado elimina en gran medida la necesidad de hardware GPU costoso: con cuantización Q4_0, ambos modelos superan los 20 tokens/s en CPUs de consumo ordinario, mientras consumen solo 1GB y 8GB de memoria, respectivamente. SmallThinker está disponible públicamente en hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct y hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.

English

While frontier large language models (LLMs) continue to push capability boundaries, their deployment remains confined to GPU-powered cloud infrastructure. We challenge this paradigm with SmallThinker, a family of LLMs natively designed - not adapted - for the unique constraints of local devices: weak computational power, limited memory, and slow storage. Unlike traditional approaches that mainly compress existing models built for clouds, we architect SmallThinker from the ground up to thrive within these limitations. Our innovation lies in a deployment-aware architecture that transforms constraints into design principles. First, We introduce a two-level sparse structure combining fine-grained Mixture-of-Experts (MoE) with sparse feed-forward networks, drastically reducing computational demands without sacrificing model capacity. Second, to conquer the I/O bottleneck of slow storage, we design a pre-attention router that enables our co-designed inference engine to prefetch expert parameters from storage while computing attention, effectively hiding storage latency that would otherwise cripple on-device inference. Third, for memory efficiency, we utilize NoPE-RoPE hybrid sparse attention mechanism to slash KV cache requirements. We release SmallThinker-4B-A0.6B and SmallThinker-21B-A3B, which achieve state-of-the-art performance scores and even outperform larger LLMs. Remarkably, our co-designed system mostly eliminates the need for expensive GPU hardware: with Q4_0 quantization, both models exceed 20 tokens/s on ordinary consumer CPUs, while consuming only 1GB and 8GB of memory respectively. SmallThinker is publicly available at hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct and hf.co/PowerInfer/SmallThinker-21BA3B-Instruct.