Mix-Quant: Gekwantiseerd voorvullen, nauwkeurige decodering voor agentische LLMs

Samenvatting

LLM-agenten zijn recentelijk naar voren gekomen als een krachtig paradigma voor het oplossen van complexe taken door middel van planning, toolgebruik, geheugenophaling en meerstapsinteractie. Deze agentische workflows introduceren echter vaak aanzienlijke overhead aan de invoerzijde, waardoor de rekenintensieve prefilling-fase een belangrijk knelpunt wordt bij inferentie over lange contexten en meerdere stappen. In dit werk stellen we Mix-Quant voor, een eenvoudig en effectief fasebewust kwantiseringsraamwerk voor snelle agentische inferentie. We onderzoeken eerst FP4-kwantificering in agentische LLM-workflows en zien dat het kwantiseren van het gehele inferentieproces tot aanzienlijke prestatievermindering kan leiden. Daarentegen vertoont de prefilling-fase aanzienlijke kwantiseringsredundantie en kan daarom met minimaal precisieverlies worden gekwantiseerd, ondanks dat het de dominante bron van rekenwerk is. Op basis van dit inzicht passen we de hoge-doorvoer NVFP4-kwantificering toe op de prefilling-fase, terwijl we BF16-precisie voor de decodering behouden. Door de versnelling van de prefilling te ontkoppelen van de kwaliteit van de decodering, combineert Mix-Quant fasebewuste algoritmische kwantificering met hardware-efficiënte NVFP4-uitvoering om het inferentieknelpunt in LLM-agenten te verlichten. Uitgebreide experimenten met benchmarks voor lange contexten en agentische taken tonen aan dat Mix-Quant grotendeels de taakprestaties behoudt en tegelijkertijd aanzienlijke efficiëntieverbeteringen levert, met een snelheidstoename tot 3x tijdens de prefilling.

English

LLM agents have recently emerged as a powerful paradigm for solving complex tasks through planning, tool use, memory retrieval, and multi-step interaction. However, these agentic workflows often introduce substantial input-side overhead, making the compute-intensive prefilling stage a key bottleneck in long-context, multi-turn inference. In this work, we propose Mix-Quant, a simple and effective phase-aware quantization framework for fast agentic inference. We first investigate FP4 quantization in agentic LLM workflows and observe that quantizing the entire inference process can incur significant performance degradation. In contrast, the prefilling stage exhibits substantial quantization redundancy and can therefore be quantized with minimal accuracy loss, despite being the dominant source of computation. Based on this insight, we apply high-throughput NVFP4 quantization to the prefilling phase while preserving BF16 precision for decoding. By decoupling prefilling acceleration from decoding quality, Mix-Quant combines phase-aware algorithmic quantization with hardware-efficient NVFP4 execution to alleviate the inference bottleneck in LLM agents. Extensive experiments across long-context and agentic benchmarks demonstrate that Mix-Quant largely preserves task performance while delivering significant efficiency improvements, achieving up to a 3x speedup during prefilling.