Veja o Texto: Da Tokenização à Leitura Visual

See the Text: From Tokenization to Visual Reading

October 21, 2025

Autores: Ling Xing, Alex Jinpeng Wang, Rui Yan, Hongyu Qu, Zechao Li, Jinhui Tang

cs.AI

Resumo

As pessoas veem texto. Os humanos leem reconhecendo palavras como objetos visuais, incluindo suas formas, layouts e padrões, antes de conectá-las ao significado, o que nos permite lidar eficazmente com erros de digitação, fontes distorcidas e diversos scripts. No entanto, os modelos de linguagem de grande escala (LLMs) modernos dependem de tokenização de subpalavras, fragmentando o texto em pedaços de um vocabulário fixo. Embora eficaz para idiomas de alta disponibilidade de recursos, essa abordagem segmenta excessivamente idiomas de baixa disponibilidade de recursos, gerando sequências longas e linguisticamente sem sentido e inflando a computação. Neste trabalho, desafiamos esse paradigma enraizado e avançamos em direção a uma alternativa centrada na visão. Nosso método, SeeTok, renderiza o texto como imagens (texto visual) e aproveita LLMs multimodais pré-treinados para interpretá-los, reutilizando fortes habilidades de OCR e alinhamento texto-visão aprendidas com treinamento multimodal em grande escala. Em três tarefas de linguagem diferentes, o SeeTok iguala ou supera os tokenizadores de subpalavras, enquanto requer 4,43 vezes menos tokens e reduz os FLOPs em 70,5%, com ganhos adicionais em generalização translinguística, robustez a ruídos tipográficos e hierarquia linguística. O SeeTok sinaliza uma mudança da tokenização simbólica para uma leitura visual semelhante à humana e dá um passo em direção a modelos de linguagem mais naturais e inspirados na cognição.

English

People see text. Humans read by recognizing words as visual objects, including their shapes, layouts, and patterns, before connecting them to meaning, which enables us to handle typos, distorted fonts, and various scripts effectively. Modern large language models (LLMs), however, rely on subword tokenization, fragmenting text into pieces from a fixed vocabulary. While effective for high-resource languages, this approach over-segments low-resource languages, yielding long, linguistically meaningless sequences and inflating computation. In this work, we challenge this entrenched paradigm and move toward a vision-centric alternative. Our method, SeeTok, renders text as images (visual-text) and leverages pretrained multimodal LLMs to interpret them, reusing strong OCR and text-vision alignment abilities learned from large-scale multimodal training. Across three different language tasks, SeeTok matches or surpasses subword tokenizers while requiring 4.43 times fewer tokens and reducing FLOPs by 70.5%, with additional gains in cross-lingual generalization, robustness to typographic noise, and linguistic hierarchy. SeeTok signals a shift from symbolic tokenization to human-like visual reading, and takes a step toward more natural and cognitively inspired language models.