Emergente Semantiek Voorbij Token Embeddings: Transformer Taalmodellen met Bevroren Visuele Unicode Representaties

Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations

July 7, 2025

Auteurs: A. Bochkov

cs.AI

Samenvatting

Het begrijpen van de locatie van semantische representatie in grote taalmodellen (LLMs) is cruciaal voor interpreteerbaarheid en architectonische innovatie. Het dominante paradigma stelt dat trainbare invoer-embeddings fungeren als fundamentele "betekenisvectoren." Dit artikel daagt die visie uit. We construeren Transformer-modellen waarbij de embeddinglaag volledig bevroren is, met vectoren die niet afgeleid zijn van data, maar van de visuele structuur van Unicode-glyphs. Deze niet-semantische, vooraf berekende visuele embeddings blijven gedurende de training vast. Onze methode is compatibel met elke tokenizer, inclusief een nieuwe Unicode-gerichte tokenizer die we introduceren om universele tekstdekking te garanderen. Ondanks het ontbreken van trainbare, semantisch geïnitialiseerde embeddings, convergeren onze modellen, genereren ze coherente tekst en presteren ze, cruciaal, beter dan architectonisch identieke modellen met trainbare embeddings op de MMLU-redeneerbenchmark. We schrijven dit toe aan "representatie-interferentie" in conventionele modellen, waarbij de embeddinglaag belast wordt met het leren van zowel structurele als semantische kenmerken. Onze resultaten geven aan dat hoogwaardige semantiek niet inherent is aan invoer-embeddings, maar een emergent eigenschap zijn van de compositionele architectuur en dataschaal van de Transformer. Dit herdefinieert de rol van embeddings van betekeniscontainers naar structurele primitieven. We geven alle code en modellen vrij om verder onderzoek te bevorderen.

English

Understanding the locus of semantic representation in large language models (LLMs) is crucial for interpretability and architectural innovation. The dominant paradigm posits that trainable input embeddings serve as foundational "meaning vectors." This paper challenges that view. We construct Transformer models where the embedding layer is entirely frozen, with vectors derived not from data, but from the visual structure of Unicode glyphs. These non-semantic, precomputed visual embeddings are fixed throughout training. Our method is compatible with any tokenizer, including a novel Unicode-centric tokenizer we introduce to ensure universal text coverage. Despite the absence of trainable, semantically initialized embeddings, our models converge, generate coherent text, and, critically, outperform architecturally identical models with trainable embeddings on the MMLU reasoning benchmark. We attribute this to "representational interference" in conventional models, where the embedding layer is burdened with learning both structural and semantic features. Our results indicate that high-level semantics are not inherent to input embeddings but are an emergent property of the Transformer's compositional architecture and data scale. This reframes the role of embeddings from meaning containers to structural primitives. We release all code and models to foster further research.