Glyph: Scalabilità delle finestre contestuali tramite compressione visivo-testuale

Glyph: Scaling Context Windows via Visual-Text Compression

October 20, 2025

Autori: Jiale Cheng, Yusen Liu, Xinyu Zhang, Yulin Fei, Wenyi Hong, Ruiliang Lyu, Weihan Wang, Zhe Su, Xiaotao Gu, Xiao Liu, Yushi Bai, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) si affidano sempre più alla modellazione di contesti lunghi per attività come la comprensione di documenti, l'analisi del codice e il ragionamento a più passaggi. Tuttavia, scalare le finestre di contesto al livello di milioni di token comporta costi computazionali e di memoria proibitivi, limitando la praticità degli LLM con contesti lunghi. In questo lavoro, adottiamo una prospettiva diversa—il ridimensionamento del contesto visivo—per affrontare questa sfida. Invece di estendere sequenze basate su token, proponiamo Glyph, un framework che trasforma testi lunghi in immagini e li elabora con modelli visione-linguaggio (VLM). Questo approccio comprime sostanzialmente l'input testuale preservando le informazioni semantiche, e progettiamo ulteriormente una ricerca genetica guidata da LLM per identificare configurazioni ottimali di rendering visivo che bilancino accuratezza e compressione. Attraverso esperimenti estesi, dimostriamo che il nostro metodo raggiunge una compressione di 3-4x dei token mantenendo un'accuratezza comparabile a LLM leader come Qwen3-8B su vari benchmark di contesti lunghi. Questa compressione porta anche a un prefilling e decodifica circa 4x più veloci, e un addestramento SFT approssimativamente 2x più rapido. Inoltre, sotto compressione estrema, un VLM con contesto di 128K potrebbe scalare per gestire attività testuali a livello di 1M token. In aggiunta, i dati testuali renderizzati beneficiano attività multimodali del mondo reale, come la comprensione di documenti. Il nostro codice e modello sono rilasciati su https://github.com/thu-coai/Glyph.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.