Mix-Quant: Preenchimento Quantizado, Decodificação Precisa para LLMs Agênticos

Resumo

Agentes de LLM emergiram recentemente como um paradigma poderoso para resolver tarefas complexas por meio de planejamento, uso de ferramentas, recuperação de memória e interação em múltiplas etapas. No entanto, esses fluxos de trabalho agentivos frequentemente introduzem uma sobrecarga substancial no lado de entrada, tornando o estágio de pré-preenchimento, que demanda alta computação, um gargalo chave na inferência de contexto longo e múltiplas iterações. Neste trabalho, propomos Mix-Quant, uma estrutura de quantização simples e eficaz, ciente da fase, para inferência agentiva rápida. Primeiramente, investigamos a quantização FP4 em fluxos de trabalho agentivos de LLM e observamos que quantificar todo o processo de inferência pode incorrer em degradação significativa de desempenho. Em contraste, o estágio de pré-preenchimento exibe redundância substancial de quantização e, portanto, pode ser quantizado com perda mínima de precisão, apesar de ser a fonte dominante de computação. Com base nessa percepção, aplicamos a quantização NVFP4 de alto rendimento à fase de pré-preenchimento, enquanto preservamos a precisão BF16 para a decodificação. Ao dissociar a aceleração do pré-preenchimento da qualidade da decodificação, o Mix-Quant combina quantização algorítmica ciente da fase com execução NVFP4 eficiente em hardware para aliviar o gargalo de inferência em agentes de LLM. Experimentos extensivos em benchmarks de contexto longo e agentivos demonstram que o Mix-Quant preserva em grande parte o desempenho da tarefa, ao mesmo tempo que proporciona ganhos significativos de eficiência, alcançando até 3x de aceleração durante o pré-preenchimento.

English

LLM agents have recently emerged as a powerful paradigm for solving complex tasks through planning, tool use, memory retrieval, and multi-step interaction. However, these agentic workflows often introduce substantial input-side overhead, making the compute-intensive prefilling stage a key bottleneck in long-context, multi-turn inference. In this work, we propose Mix-Quant, a simple and effective phase-aware quantization framework for fast agentic inference. We first investigate FP4 quantization in agentic LLM workflows and observe that quantizing the entire inference process can incur significant performance degradation. In contrast, the prefilling stage exhibits substantial quantization redundancy and can therefore be quantized with minimal accuracy loss, despite being the dominant source of computation. Based on this insight, we apply high-throughput NVFP4 quantization to the prefilling phase while preserving BF16 precision for decoding. By decoupling prefilling acceleration from decoding quality, Mix-Quant combines phase-aware algorithmic quantization with hardware-efficient NVFP4 execution to alleviate the inference bottleneck in LLM agents. Extensive experiments across long-context and agentic benchmarks demonstrate that Mix-Quant largely preserves task performance while delivering significant efficiency improvements, achieving up to a 3x speedup during prefilling.