Mix-Quant: Quantisiertes Prefilling, präzise Dekodierung für agentische LLMs

Zusammenfassung

LLM-Agenten haben sich kürzlich als leistungsfähiges Paradigma zur Lösung komplexer Aufgaben durch Planung, Werkzeugnutzung, Gedächtnisabruf und mehrschrittige Interaktion erwiesen. Diese agentischen Arbeitsabläufe führen jedoch häufig zu erheblichem Overhead auf der Eingabeseite, sodass die rechenintensive Prefilling-Phase zu einem zentralen Engpass bei Langkontext-Inferenz mit mehreren Iterationen wird. In dieser Arbeit schlagen wir Mix-Quant vor, ein einfaches und effektives phasenbewusstes Quantisierungsframework für schnelle agentische Inferenz. Wir untersuchen zunächst die FP4-Quantisierung in agentischen LLM-Workflows und stellen fest, dass die Quantisierung des gesamten Inferenzprozesses zu erheblichen Leistungseinbußen führen kann. Im Gegensatz dazu weist die Prefilling-Phase eine erhebliche Quantisierungsredundanz auf und kann daher bei minimalem Genauigkeitsverlust quantisiert werden, obwohl sie die dominierende Rechenquelle darstellt. Basierend auf dieser Erkenntnis wenden wir die NVFP4-Quantisierung mit hohem Durchsatz auf die Prefilling-Phase an, während die BF16-Präzision für die Decodierung beibehalten wird. Durch die Entkopplung der Prefilling-Beschleunigung von der Decodierungsqualität kombiniert Mix-Quant phasenbewusste algorithmische Quantisierung mit hardwareeffizienter NVFP4-Ausführung, um den Inferenz-Engpass bei LLM-Agenten zu verringern. Umfangreiche Experimente auf Langkontext- und agentischen Benchmarks zeigen, dass Mix-Quant die Aufgabenleistung weitgehend bewahrt und gleichzeitig erhebliche Effizienzsteigerungen erzielt, mit einer bis zu 3-fachen Beschleunigung während des Prefillings.

English

LLM agents have recently emerged as a powerful paradigm for solving complex tasks through planning, tool use, memory retrieval, and multi-step interaction. However, these agentic workflows often introduce substantial input-side overhead, making the compute-intensive prefilling stage a key bottleneck in long-context, multi-turn inference. In this work, we propose Mix-Quant, a simple and effective phase-aware quantization framework for fast agentic inference. We first investigate FP4 quantization in agentic LLM workflows and observe that quantizing the entire inference process can incur significant performance degradation. In contrast, the prefilling stage exhibits substantial quantization redundancy and can therefore be quantized with minimal accuracy loss, despite being the dominant source of computation. Based on this insight, we apply high-throughput NVFP4 quantization to the prefilling phase while preserving BF16 precision for decoding. By decoupling prefilling acceleration from decoding quality, Mix-Quant combines phase-aware algorithmic quantization with hardware-efficient NVFP4 execution to alleviate the inference bottleneck in LLM agents. Extensive experiments across long-context and agentic benchmarks demonstrate that Mix-Quant largely preserves task performance while delivering significant efficiency improvements, achieving up to a 3x speedup during prefilling.