VibeThinker-3B: Explorando a Fronteira do Raciocínio Verificável em Pequenos Modelos de Linguagem

Resumo

Este relatório técnico apresenta o VibeThinker-3B, um modelo denso compacto com 3 bilhões de parâmetros desenvolvido para investigar até onde o raciocínio verificável pode ser impulsionado dentro de um regime estritamente de modelo pequeno. Baseando-se no paradigma de pós-treinamento Spectrum-to-Signal, aprimoramos sistematicamente o modelo por meio de um pipeline otimizado que inclui ajuste fino supervisionado baseado em currículo, aprendizado por reforço multi-domínio e autodestilação offline. Avaliações experimentais demonstram que o VibeThinker-3B atinge desempenho de nível de fronteira em tarefas verificáveis altamente exigentes. Especificamente, atinge uma pontuação de 94,3 no AIME26 (melhorando para 97,1 com escalonamento em tempo de teste no nível de afirmação), 80,2 Pass@1 no LiveCodeBench v6 e exibe forte generalização fora da distribuição com uma taxa de aceitação de 96,1% em concursos recentes não vistos do LeetCode. Isso efetivamente o coloca na faixa de desempenho dos sistemas de raciocínio de primeira linha, equiparando-se ou superando modelos emblemáticos que são ordens de magnitude maiores, como DeepSeek V3.2, GLM-5 e Gemini 3 Pro. Além disso, uma pontuação de 93,4 no IFEval confirma que essa melhoria extrema de raciocínio não compromete a controlabilidade estrita de instruções. Estendendo nosso trabalho anterior de 1,5B, essas descobertas motivam a Hipótese de Compressão-Cobertura Paramétrica, que vê o raciocínio verificável como compressível em núcleos de raciocínio compactos, enquanto o conhecimento de domínio aberto e a competência de propósito geral exigem ampla cobertura de parâmetros sobre fatos, conceitos e cenários de cauda longa. Essa perspectiva sugere que modelos compactos não são meramente substitutos eficientes em implantação, mas um caminho complementar para o desempenho de nível de fronteira em regimes de capacidade densa em parâmetros.

English

This technical report introduces VibeThinker-3B, a compact dense model with 3B parameters developed to investigate how far verifiable reasoning can be pushed within a strictly small-model regime. Building upon the Spectrum-to-Signal post-training paradigm, we systematically enhance the model through an optimized pipeline that includes curriculum-based supervised fine-tuning, multi-domain reinforcement learning, and offline self-distillation. Experimental evaluations demonstrate that VibeThinker-3B achieves frontier-level performance on highly demanding verifiable tasks. Specifically, it attains a score of 94.3 on AIME26 (improving to 97.1 with claim-level test-time scaling), an 80.2 Pass@1 on LiveCodeBench v6, and exhibits strong out-of-distribution generalization with a 96.1\% acceptance rate on recent unseen LeetCode contests. This effectively places it in the performance band of first-tier reasoning systems, matching or exceeding flagship models that are orders of magnitude larger, such as DeepSeek V3.2, GLM-5, and Gemini 3 Pro. Furthermore, a score of 93.4 on IFEval confirms that this extreme reasoning enhancement does not compromise strict instruction controllability. Extending our previous 1.5B work, these findings motivate the Parametric Compression-Coverage Hypothesis, which views verifiable reasoning as compressible into compact reasoning cores, while open-domain knowledge and general-purpose competence require broad parameter coverage over facts, concepts, and long-tail scenarios. This perspective suggests that compact models are not merely deployment-efficient substitutes, but a complementary path toward frontier-level performance in parameter-dense capability regimes.