La forme de l'addition : Structures géométriques de l'arithmétique dans les grands modèles de langage

Résumé

Les grands modèles de langage présentent une fragilité paradoxale dans le calcul arithmétique fondamental, suggérant un décalage entre le calcul interne et la sortie discrète. En analysant la géométrie du flux résiduel lors d'additions à plusieurs opérandes, nous identifions la Trajectoire Iso-Somme-Brute (IRST), une structure géométrique où les représentations sont ancrées par des chiffres sémantiques et modulées par des fibres de retenue continues. Nous proposons le Modèle de Quantification Bruitée pour expliquer cette géométrie, en considérant les erreurs arithmétiques comme des Glissements Géométriques causés par du bruit neural interne poussant un Potentiel de Retenue latent et continu à travers des seuils de quantification. Ce cadre géométrique éclaire également la Versatilité des Sondes, expliquant comment des sondes légères peuvent démêler des signaux latents coexistants (tels que la vérité terrain par rapport à l'hallucination) à partir d'un seul vecteur d'activation. Enfin, nous validons ces perspectives par une méthode de vérification de cohérence géométrique qui détecte et corrige efficacement ces échecs de quantification lors de l'inférence. Notre code est disponible à l'adresse https://github.com/RL-MIND/Shape-of-Addition.

English

Large Language Models exhibit paradoxical fragility in fundamental arithmetic, implying a disconnect between internal computation and discrete output. By analyzing the residual stream geometry during multi-operand addition, we identify the Iso-Raw-Sum Trajectory (IRST), a geometric structure where representations are anchored by semantic digits and modulated by continuous carry fibers. We propose the Noisy Quantization Model to explain this geometry, framing arithmetic errors as Geometric Slippages caused by internal neural noise pushing a continuous, latent Carry Potential across quantization thresholds. This geometric framework further elucidates Probe Versatility, explaining how lightweight probes can disentangle coexisting latent signals (such as ground truth versus hallucination) from a single activation vector. Finally, we validate these insights through a geometric consistency check method that effectively detects and corrects these quantization failures during inference. Our code is available at https://github.com/RL-MIND/Shape-of-Addition.