Zie de tekst: Van Tokenisatie naar Visueel Lezen
See the Text: From Tokenization to Visual Reading
October 21, 2025
Auteurs: Ling Xing, Alex Jinpeng Wang, Rui Yan, Hongyu Qu, Zechao Li, Jinhui Tang
cs.AI
Samenvatting
Mensen zien tekst. Mensen lezen door woorden te herkennen als visuele objecten, inclusief hun vormen, lay-outs en patronen, voordat ze deze verbinden aan betekenis, wat ons in staat stelt om effectief om te gaan met typefouten, vervormde lettertypen en verschillende schriften. Moderne grote taalmmodellen (LLMs) vertrouwen echter op subwoord-tokenisatie, waarbij tekst wordt opgesplitst in fragmenten uit een vaste woordenschat. Hoewel deze aanpak effectief is voor talen met veel bronnen, leidt dit tot overmatige segmentatie van talen met weinig bronnen, wat resulteert in lange, taalkundig betekenisloze reeksen en een toename van de rekenkracht. In dit werk dagen we dit gevestigde paradigma uit en bewegen we naar een visie-gerichte alternatieve benadering. Onze methode, SeeTok, zet tekst om in afbeeldingen (visuele tekst) en maakt gebruik van vooraf getrainde multimodale LLMs om deze te interpreteren, waarbij sterke OCR- en tekst-visie-uitlijningsvaardigheden worden hergebruikt die zijn geleerd uit grootschalige multimodale training. Over drie verschillende taaltaken heen presteert SeeTok even goed of beter dan subwoord-tokenizers, terwijl het 4,43 keer minder tokens vereist en de FLOPs met 70,5% vermindert, met extra voordelen in cross-linguale generalisatie, robuustheid tegen typografische ruis en taalkundige hiërarchie. SeeTok markeert een verschuiving van symbolische tokenisatie naar menselijk visueel lezen en zet een stap in de richting van natuurlijkere en cognitief geïnspireerde taalmmodellen.
English
People see text. Humans read by recognizing words as visual objects,
including their shapes, layouts, and patterns, before connecting them to
meaning, which enables us to handle typos, distorted fonts, and various scripts
effectively. Modern large language models (LLMs), however, rely on subword
tokenization, fragmenting text into pieces from a fixed vocabulary. While
effective for high-resource languages, this approach over-segments low-resource
languages, yielding long, linguistically meaningless sequences and inflating
computation. In this work, we challenge this entrenched paradigm and move
toward a vision-centric alternative. Our method, SeeTok, renders text as images
(visual-text) and leverages pretrained multimodal LLMs to interpret them,
reusing strong OCR and text-vision alignment abilities learned from large-scale
multimodal training. Across three different language tasks, SeeTok matches or
surpasses subword tokenizers while requiring 4.43 times fewer tokens and
reducing FLOPs by 70.5%, with additional gains in cross-lingual generalization,
robustness to typographic noise, and linguistic hierarchy. SeeTok signals a
shift from symbolic tokenization to human-like visual reading, and takes a step
toward more natural and cognitively inspired language models.