Ver el texto: Desde la tokenización hasta la lectura visual

See the Text: From Tokenization to Visual Reading

October 21, 2025

Autores: Ling Xing, Alex Jinpeng Wang, Rui Yan, Hongyu Qu, Zechao Li, Jinhui Tang

cs.AI

Resumen

Las personas ven texto. Los humanos leen reconociendo las palabras como objetos visuales, incluyendo sus formas, disposiciones y patrones, antes de conectarlas con su significado, lo que nos permite manejar errores tipográficos, fuentes distorsionadas y diversos sistemas de escritura de manera efectiva. Sin embargo, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) modernos dependen de la tokenización por subpalabras, fragmentando el texto en piezas de un vocabulario fijo. Aunque este enfoque es efectivo para idiomas de alto recurso, segmenta en exceso los idiomas de bajo recurso, generando secuencias largas y lingüísticamente carentes de significado, e incrementando el cómputo. En este trabajo, desafiamos este paradigma arraigado y avanzamos hacia una alternativa centrada en la visión. Nuestro método, SeeTok, convierte el texto en imágenes (texto visual) y aprovecha modelos de lenguaje multimodal preentrenados para interpretarlas, reutilizando las fuertes habilidades de reconocimiento óptico de caracteres (OCR) y alineación texto-visión aprendidas a partir de entrenamiento multimodal a gran escala. En tres tareas lingüísticas diferentes, SeeTok iguala o supera a los tokenizadores por subpalabras, mientras requiere 4.43 veces menos tokens y reduce los FLOPs en un 70.5%, con ganancias adicionales en generalización cruzada, robustez frente al ruido tipográfico y jerarquía lingüística. SeeTok marca un cambio desde la tokenización simbólica hacia una lectura visual similar a la humana, y da un paso hacia modelos de lenguaje más naturales e inspirados en la cognición.

English

People see text. Humans read by recognizing words as visual objects, including their shapes, layouts, and patterns, before connecting them to meaning, which enables us to handle typos, distorted fonts, and various scripts effectively. Modern large language models (LLMs), however, rely on subword tokenization, fragmenting text into pieces from a fixed vocabulary. While effective for high-resource languages, this approach over-segments low-resource languages, yielding long, linguistically meaningless sequences and inflating computation. In this work, we challenge this entrenched paradigm and move toward a vision-centric alternative. Our method, SeeTok, renders text as images (visual-text) and leverages pretrained multimodal LLMs to interpret them, reusing strong OCR and text-vision alignment abilities learned from large-scale multimodal training. Across three different language tasks, SeeTok matches or surpasses subword tokenizers while requiring 4.43 times fewer tokens and reducing FLOPs by 70.5%, with additional gains in cross-lingual generalization, robustness to typographic noise, and linguistic hierarchy. SeeTok signals a shift from symbolic tokenization to human-like visual reading, and takes a step toward more natural and cognitively inspired language models.