Die Form der Addition: Geometrische Strukturen der Arithmetik in großen Sprachmodellen

Zusammenfassung

Große Sprachmodelle weisen eine paradoxe Fragilität in der grundlegenden Arithmetik auf, was auf eine Diskrepanz zwischen interner Berechnung und diskreter Ausgabe hindeutet. Durch die Analyse der Geometrie des Residuenstroms bei der Addition mehrerer Operanden identifizieren wir die Iso-Raw-Sum-Trajektorie (IRST), eine geometrische Struktur, bei der Repräsentationen durch semantische Ziffern verankert und durch kontinuierliche Übertragungsfasern moduliert werden. Wir schlagen das verrauschte Quantisierungsmodell vor, um diese Geometrie zu erklären, und betrachten arithmetische Fehler als geometrische Verschiebungen, die durch internes neuronales Rauschen verursacht werden, das ein kontinuierliches, latentes Übertragungspotenzial über Quantisierungsschwellen drückt. Dieser geometrische Rahmen erhellt zudem die Flexibilität von Sonden, indem er erklärt, wie leichte Sonden koexistierende latente Signale (wie Grundwahrheit versus Halluzination) aus einem einzigen Aktivierungsvektor entwirren können. Schließlich validieren wir diese Erkenntnisse durch eine Methode zur geometrischen Konsistenzprüfung, die diese Quantisierungsfehler während der Inferenz effektiv erkennt und korrigiert. Unser Code ist verfügbar unter https://github.com/RL-MIND/Shape-of-Addition.

English

Large Language Models exhibit paradoxical fragility in fundamental arithmetic, implying a disconnect between internal computation and discrete output. By analyzing the residual stream geometry during multi-operand addition, we identify the Iso-Raw-Sum Trajectory (IRST), a geometric structure where representations are anchored by semantic digits and modulated by continuous carry fibers. We propose the Noisy Quantization Model to explain this geometry, framing arithmetic errors as Geometric Slippages caused by internal neural noise pushing a continuous, latent Carry Potential across quantization thresholds. This geometric framework further elucidates Probe Versatility, explaining how lightweight probes can disentangle coexisting latent signals (such as ground truth versus hallucination) from a single activation vector. Finally, we validate these insights through a geometric consistency check method that effectively detects and corrects these quantization failures during inference. Our code is available at https://github.com/RL-MIND/Shape-of-Addition.