Siehe den Text: Von der Tokenisierung zum visuellen Lesen
See the Text: From Tokenization to Visual Reading
October 21, 2025
papers.authors: Ling Xing, Alex Jinpeng Wang, Rui Yan, Hongyu Qu, Zechao Li, Jinhui Tang
cs.AI
papers.abstract
Menschen sehen Text. Beim Lesen erkennen sie Wörter als visuelle Objekte, einschließlich ihrer Formen, Anordnungen und Muster, bevor sie diese mit Bedeutung verknüpfen. Dies ermöglicht es uns, effektiv mit Tippfehlern, verzerrten Schriftarten und verschiedenen Schriftsystemen umzugehen. Moderne große Sprachmodelle (LLMs) hingegen basieren auf Subwort-Tokenisierung, bei der Text in Fragmente aus einem festen Vokabular zerlegt wird. Während dieser Ansatz für hochfrequentierte Sprachen effektiv ist, führt er bei ressourcenarmen Sprachen zu einer Übersegmentierung, die lange, linguistisch bedeutungslose Sequenzen erzeugt und den Rechenaufwand erhöht. In dieser Arbeit stellen wir dieses etablierte Paradigma in Frage und entwickeln eine vision-zentrierte Alternative. Unsere Methode, SeeTok, stellt Text als Bilder (visueller Text) dar und nutzt vortrainierte multimodale LLMs, um diese zu interpretieren, wobei starke OCR- und Text-Vision-Ausrichtungsfähigkeiten, die durch groß angelegtes multimodales Training erlernt wurden, wiederverwendet werden. In drei verschiedenen Sprachaufgaben erreicht SeeTok vergleichbare oder bessere Ergebnisse als Subwort-Tokenisierer, benötigt jedoch 4,43-mal weniger Tokens und reduziert die FLOPs um 70,5 %, mit zusätzlichen Verbesserungen in der cross-lingualen Generalisierung, der Robustheit gegenüber typografischem Rauschen und der linguistischen Hierarchie. SeeTok markiert einen Wandel von der symbolischen Tokenisierung hin zu einem menschenähnlichen visuellen Lesen und macht einen Schritt in Richtung natürlicherer und kognitiv inspirierter Sprachmodelle.
English
People see text. Humans read by recognizing words as visual objects,
including their shapes, layouts, and patterns, before connecting them to
meaning, which enables us to handle typos, distorted fonts, and various scripts
effectively. Modern large language models (LLMs), however, rely on subword
tokenization, fragmenting text into pieces from a fixed vocabulary. While
effective for high-resource languages, this approach over-segments low-resource
languages, yielding long, linguistically meaningless sequences and inflating
computation. In this work, we challenge this entrenched paradigm and move
toward a vision-centric alternative. Our method, SeeTok, renders text as images
(visual-text) and leverages pretrained multimodal LLMs to interpret them,
reusing strong OCR and text-vision alignment abilities learned from large-scale
multimodal training. Across three different language tasks, SeeTok matches or
surpasses subword tokenizers while requiring 4.43 times fewer tokens and
reducing FLOPs by 70.5%, with additional gains in cross-lingual generalization,
robustness to typographic noise, and linguistic hierarchy. SeeTok signals a
shift from symbolic tokenization to human-like visual reading, and takes a step
toward more natural and cognitively inspired language models.