Mix-Quant: Квантованный префиллинг, точное декодирование для агентных LLM

Аннотация

LLM-агенты недавно стали мощной парадигмой для решения сложных задач посредством планирования, использования инструментов, извлечения из памяти и многошагового взаимодействия. Однако такие агентные рабочие процессы часто вносят существенные накладные расходы на стороне ввода, что делает вычислительно интенсивный этап префиллинга ключевым узким местом в длинноконтекстном многошаговом инференсе. В данной работе мы предлагаем Mix-Quant — простую и эффективную фазово-ориентированную систему квантизации для быстрого агентного инференса. Мы сначала исследуем FP4-квантизацию в агентных рабочих процессах LLM и замечаем, что квантизация всего процесса инференса может привести к значительному ухудшению качества. Напротив, этап префиллинга демонстрирует значительную избыточность при квантизации и поэтому может быть квантизован с минимальной потерей точности, несмотря на то, что является доминирующим источником вычислительной нагрузки. Основываясь на этом наблюдении, мы применяем высокопроизводительную NVFP4-квантизацию к фазе префиллинга, сохраняя при этом точность BF16 для декодирования. Разделяя ускорение префиллинга и качество декодирования, Mix-Quant объединяет фазово-ориентированную алгоритмическую квантизацию с аппаратно-эффективным выполнением NVFP4 для смягчения узкого места инференса в LLM-агентах. Обширные эксперименты на бенчмарках с длинным контекстом и агентных задачах показывают, что Mix-Quant в значительной степени сохраняет качество выполнения задач, обеспечивая при этом заметное повышение эффективности, достигая ускорения до 3 раз на этапе префиллинга.

English

LLM agents have recently emerged as a powerful paradigm for solving complex tasks through planning, tool use, memory retrieval, and multi-step interaction. However, these agentic workflows often introduce substantial input-side overhead, making the compute-intensive prefilling stage a key bottleneck in long-context, multi-turn inference. In this work, we propose Mix-Quant, a simple and effective phase-aware quantization framework for fast agentic inference. We first investigate FP4 quantization in agentic LLM workflows and observe that quantizing the entire inference process can incur significant performance degradation. In contrast, the prefilling stage exhibits substantial quantization redundancy and can therefore be quantized with minimal accuracy loss, despite being the dominant source of computation. Based on this insight, we apply high-throughput NVFP4 quantization to the prefilling phase while preserving BF16 precision for decoding. By decoupling prefilling acceleration from decoding quality, Mix-Quant combines phase-aware algorithmic quantization with hardware-efficient NVFP4 execution to alleviate the inference bottleneck in LLM agents. Extensive experiments across long-context and agentic benchmarks demonstrate that Mix-Quant largely preserves task performance while delivering significant efficiency improvements, achieving up to a 3x speedup during prefilling.