Glyph: Escalando Janelas de Contexto por meio de Compressão Visual-Textual

Glyph: Scaling Context Windows via Visual-Text Compression

October 20, 2025

Autores: Jiale Cheng, Yusen Liu, Xinyu Zhang, Yulin Fei, Wenyi Hong, Ruiliang Lyu, Weihan Wang, Zhe Su, Xiaotao Gu, Xiao Liu, Yushi Bai, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) dependem cada vez mais da modelagem de contexto longo para tarefas como compreensão de documentos, análise de código e raciocínio em múltiplas etapas. No entanto, escalar janelas de contexto para o nível de milhões de tokens traz custos computacionais e de memória proibitivos, limitando a praticidade dos LLMs de contexto longo. Neste trabalho, adotamos uma perspectiva diferente - escalonamento de contexto visual - para enfrentar esse desafio. Em vez de estender sequências baseadas em tokens, propomos Glyph, uma estrutura que renderiza textos longos em imagens e os processa com modelos de visão e linguagem (VLMs). Essa abordagem comprime substancialmente a entrada textual enquanto preserva as informações semânticas, e ainda projetamos uma busca genética guiada por LLM para identificar configurações ótimas de renderização visual que equilibram precisão e compressão. Por meio de extensos experimentos, demonstramos que nosso método alcança uma compressão de 3-4x em tokens enquanto mantém uma precisão comparável a LLMs líderes, como o Qwen3-8B, em vários benchmarks de contexto longo. Essa compressão também resulta em um preenchimento e decodificação cerca de 4x mais rápidos, e um treinamento SFT aproximadamente 2x mais rápido. Além disso, sob compressão extrema, um VLM de contexto de 128K poderia escalar para lidar com tarefas de texto no nível de 1M de tokens. Adicionalmente, os dados de texto renderizados beneficiam tarefas multimodais do mundo real, como a compreensão de documentos. Nosso código e modelo estão disponíveis em https://github.com/thu-coai/Glyph.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.