A Forma da Adição: Estruturas Geométricas da Aritmética em Grandes Modelos de Linguagem

Resumo

Modelos de Linguagem de Grande Escala exibem fragilidade paradoxal em aritmética fundamental, sugerindo uma desconexão entre computação interna e saída discreta. Ao analisar a geometria do fluxo residual durante a adição de múltiplos operandos, identificamos a Trajetória de Soma Bruta Iso (IRST, na sigla em inglês), uma estrutura geométrica onde as representações são ancoradas por dígitos semânticos e moduladas por fibras contínuas de transporte. Propomos o Modelo de Quantização Ruidosa para explicar essa geometria, enquadrando erros aritméticos como Deslizamentos Geométricos causados por ruído neural interno que empurra um Potencial de Transporte latente contínuo através de limiares de quantização. Essa estrutura geométrica ainda elucida a Versatilidade de Sondas, explicando como sondas leves podem separar sinais latentes coexistentes (como verdade fundamental versus alucinação) a partir de um único vetor de ativação. Por fim, validamos essas percepções por meio de um método de verificação de consistência geométrica que detecta e corrige eficazmente essas falhas de quantização durante a inferência. Nosso código está disponível em https://github.com/RL-MIND/Shape-of-Addition.

English

Large Language Models exhibit paradoxical fragility in fundamental arithmetic, implying a disconnect between internal computation and discrete output. By analyzing the residual stream geometry during multi-operand addition, we identify the Iso-Raw-Sum Trajectory (IRST), a geometric structure where representations are anchored by semantic digits and modulated by continuous carry fibers. We propose the Noisy Quantization Model to explain this geometry, framing arithmetic errors as Geometric Slippages caused by internal neural noise pushing a continuous, latent Carry Potential across quantization thresholds. This geometric framework further elucidates Probe Versatility, explaining how lightweight probes can disentangle coexisting latent signals (such as ground truth versus hallucination) from a single activation vector. Finally, we validate these insights through a geometric consistency check method that effectively detects and corrects these quantization failures during inference. Our code is available at https://github.com/RL-MIND/Shape-of-Addition.