Glyph : Mise à l'échelle des fenêtres contextuelles via la compression visuo-textuelle

papers.abstract

Les grands modèles de langage (LLMs) reposent de plus en plus sur la modélisation de contextes longs pour des tâches telles que la compréhension de documents, l'analyse de code et le raisonnement en plusieurs étapes. Cependant, l'extension des fenêtres contextuelles au niveau du million de tokens entraîne des coûts de calcul et de mémoire prohibitifs, limitant ainsi la praticabilité des LLMs à contexte long. Dans ce travail, nous adoptons une perspective différente — la mise à l'échelle contextuelle visuelle — pour relever ce défi. Au lieu d'étendre les séquences basées sur des tokens, nous proposons Glyph, un cadre qui convertit les textes longs en images et les traite à l'aide de modèles vision-langage (VLMs). Cette approche compresse considérablement l'entrée textuelle tout en préservant les informations sémantiques, et nous concevons en outre une recherche génétique pilotée par un LLM pour identifier les configurations optimales de rendu visuel afin d'équilibrer précision et compression. À travers des expériences approfondies, nous démontrons que notre méthode permet une compression de 3 à 4 fois le nombre de tokens tout en maintenant une précision comparable à celle des LLMs leaders tels que Qwen3-8B sur divers benchmarks de contexte long. Cette compression entraîne également un préremplissage et un décodage environ 4 fois plus rapides, ainsi qu'une formation SFT environ 2 fois plus rapide. De plus, sous une compression extrême, un VLM à contexte de 128K pourrait être mis à l'échelle pour gérer des tâches textuelles de niveau 1M-token. Par ailleurs, les données textuelles rendues profitent aux tâches multimodales du monde réel, telles que la compréhension de documents. Notre code et modèle sont disponibles à l'adresse https://github.com/thu-coai/Glyph.

English

Large language models (LLMs) increasingly rely on long-context modeling for tasks such as document understanding, code analysis, and multi-step reasoning. However, scaling context windows to the million-token level brings prohibitive computational and memory costs, limiting the practicality of long-context LLMs. In this work, we take a different perspective-visual context scaling-to tackle this challenge. Instead of extending token-based sequences, we propose Glyph, a framework that renders long texts into images and processes them with vision-language models (VLMs). This approach substantially compresses textual input while preserving semantic information, and we further design an LLM-driven genetic search to identify optimal visual rendering configurations for balancing accuracy and compression. Through extensive experiments, we demonstrate that our method achieves 3-4x token compression while maintaining accuracy comparable to leading LLMs such as Qwen3-8B on various long-context benchmarks. This compression also leads to around 4x faster prefilling and decoding, and approximately 2x faster SFT training. Furthermore, under extreme compression, a 128K-context VLM could scale to handle 1M-token-level text tasks. In addition, the rendered text data benefits real-world multimodal tasks, such as document understanding. Our code and model are released at https://github.com/thu-coai/Glyph.

Glyph : Mise à l'échelle des fenêtres contextuelles via la compression visuo-textuelle

Glyph: Scaling Context Windows via Visual-Text Compression

papers.abstract

Support