Glyph: Escalado de Ventanas de Contexto mediante Compresión Visual-Textual

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) dependen cada vez más del modelado de contexto largo para tareas como la comprensión de documentos, el análisis de código y el razonamiento de múltiples pasos. Sin embargo, escalar las ventanas de contexto al nivel de millones de tokens conlleva costos computacionales y de memoria prohibitivos, lo que limita la practicidad de los LLMs de contexto largo. En este trabajo, adoptamos una perspectiva diferente: el escalado de contexto visual para abordar este desafío. En lugar de extender secuencias basadas en tokens, proponemos Glyph, un marco que convierte textos largos en imágenes y los procesa con modelos de visión y lenguaje (VLMs, por sus siglas en inglés). Este enfoque comprime sustancialmente la entrada textual mientras preserva la información semántica, y además diseñamos una búsqueda genética impulsada por un LLM para identificar configuraciones óptimas de representación visual que equilibren precisión y compresión. A través de experimentos extensos, demostramos que nuestro método logra una compresión de 3-4 veces en el número de tokens mientras mantiene una precisión comparable a LLMs líderes como Qwen3-8B en varios puntos de referencia de contexto largo. Esta compresión también conduce a un prellenado y decodificación aproximadamente 4 veces más rápidos, y un entrenamiento SFT aproximadamente 2 veces más rápido. Además, bajo compresión extrema, un VLM de contexto de 128K podría escalar para manejar tareas de texto a nivel de 1 millón de tokens. Adicionalmente, los datos de texto renderizados benefician tareas multimodales del mundo real, como la comprensión de documentos. Nuestro código y modelo están disponibles en https://github.com/thu-coai/Glyph.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.

Glyph: Escalado de Ventanas de Contexto mediante Compresión Visual-Textual

Glyph: Scaling Context Windows via Visual-Text Compression

Resumen

Support