Glyph: Skalierung von Kontextfenstern durch visuell-textuelle Kompression

Glyph: Scaling Context Windows via Visual-Text Compression

October 20, 2025

papers.authors: Jiale Cheng, Yusen Liu, Xinyu Zhang, Yulin Fei, Wenyi Hong, Ruiliang Lyu, Weihan Wang, Zhe Su, Xiaotao Gu, Xiao Liu, Yushi Bai, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) setzen zunehmend auf die Modellierung langer Kontexte für Aufgaben wie das Verständnis von Dokumenten, die Analyse von Code und mehrstufiges logisches Schließen. Die Skalierung von Kontextfenstern auf die Million-Token-Ebene führt jedoch zu prohibitiv hohen Rechen- und Speicherkosten, was die Praktikabilität von LLMs mit langen Kontexten einschränkt. In dieser Arbeit nehmen wir eine andere Perspektive ein – die visuelle Kontextskalierung –, um diese Herausforderung zu bewältigen. Anstatt tokenbasierte Sequenzen zu erweitern, schlagen wir Glyph vor, ein Framework, das lange Texte in Bilder umwandelt und sie mit visuell-sprachlichen Modellen (VLMs) verarbeitet. Dieser Ansatz komprimiert Texteingaben erheblich, während semantische Informationen erhalten bleiben, und wir entwickeln zusätzlich eine LLM-gesteuerte genetische Suche, um optimale visuelle Darstellungskonfigurationen für die Balance zwischen Genauigkeit und Kompression zu identifizieren. Durch umfangreiche Experimente zeigen wir, dass unsere Methode eine 3-4-fache Token-Kompression erreicht, während die Genauigkeit vergleichbar mit führenden LLMs wie Qwen3-8B auf verschiedenen Langkontext-Benchmarks bleibt. Diese Kompression führt auch zu etwa 4-fach schnellerem Prefilling und Decodieren sowie etwa 2-fach schnellerem SFT-Training. Darüber hinaus könnte ein VLM mit einem 128K-Kontext unter extremer Kompression auf die Bewältigung von Textaufgaben auf der 1M-Token-Ebene skaliert werden. Zusätzlich profitieren die gerenderten Textdaten von realen multimodalen Aufgaben, wie dem Verständnis von Dokumenten. Unser Code und Modell sind unter https://github.com/thu-coai/Glyph veröffentlicht.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.