Glyph: Schalen van contextvensters via visueel-tekstcompressie

Glyph: Scaling Context Windows via Visual-Text Compression

October 20, 2025

Auteurs: Jiale Cheng, Yusen Liu, Xinyu Zhang, Yulin Fei, Wenyi Hong, Ruiliang Lyu, Weihan Wang, Zhe Su, Xiaotao Gu, Xiao Liu, Yushi Bai, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Samenvatting

Grote taalmodellen (LLMs) vertrouwen steeds meer op lang-contextmodellering voor taken zoals documentbegrip, code-analyse en meerstaps redeneren. Het schalen van contextvensters naar het niveau van miljoenen tokens brengt echter onhoudbare reken- en geheugenkosten met zich mee, wat de praktische toepasbaarheid van lang-context LLMs beperkt. In dit werk nemen we een ander perspectief aan—visuele contextschaling—om deze uitdaging aan te pakken. In plaats van token-gebaseerde sequenties uit te breiden, stellen we Glyph voor, een framework dat lange teksten omzet in afbeeldingen en deze verwerkt met visie-taalmodellen (VLMs). Deze aanpak comprimeert tekstuele input aanzienlijk terwijl semantische informatie behouden blijft, en we ontwerpen verder een LLM-gestuurde genetische zoektocht om optimale visuele weergaveconfiguraties te identificeren voor het balanceren van nauwkeurigheid en compressie. Door uitgebreide experimenten tonen we aan dat onze methode een 3-4x tokencompressie bereikt terwijl de nauwkeurigheid vergelijkbaar blijft met toonaangevende LLMs zoals Qwen3-8B op verschillende lang-context benchmarks. Deze compressie leidt ook tot ongeveer 4x snellere prefilling en decodering, en ongeveer 2x snellere SFT-training. Bovendien kan een VLM met een context van 128K onder extreme compressie worden geschaald om teksttaken op het niveau van 1M tokens aan te kunnen. Daarnaast profiteren real-world multimodale taken, zoals documentbegrip, van de gerenderde tekstgegevens. Onze code en model zijn vrijgegeven op https://github.com/thu-coai/Glyph.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.