Incerteza Impulsiona Mudanças no Viés Social em Modelos de Linguagem Grandes Quantizados

Uncertainty Drives Social Bias Changes in Quantized Large Language Models

February 5, 2026

Autores: Stanley Z. Hua, Sanae Lotfi, Irene Y. Chen

cs.AI

Resumo

A quantização pós-treinamento reduz o custo computacional de modelos de linguagem grandes, mas altera fundamentalmente os seus vieses sociais de maneiras que as métricas agregadas não conseguem capturar. Apresentamos o primeiro estudo em larga escala de 50 modelos quantizados avaliados no PostTrainingBiasBench, um benchmark unificado de 13 conjuntos de dados de viés de tarefas abertas e fechadas. Identificamos um fenómeno que denominamos de inversão do viés mascarada induzida por quantização, no qual até 21% das respostas alternam entre estados tendenciosos e não tendenciosos após a quantização, apesar de não mostrarem alteração nas pontuações agregadas de viés. Estas inversões são fortemente impulsionadas pela incerteza do modelo, sendo as respostas com alta incerteza 3 a 11 vezes mais propensas a mudar do que as respostas confiantes. A intensidade da quantização amplifica este efeito, com modelos quantizados em 4 bits exibindo 4 a 6 vezes mais mudanças comportamentais do que modelos quantizados em 8 bits. Criticalmente, estas mudanças criam impactos assimétricos entre grupos demográficos, onde o viés pode piorar até 18,6% para alguns grupos enquanto melhora até 14,1% para outros, produzindo resultados agregados enganadoramente neutros. Modelos maiores não mostram uma vantagem de robustez consistente, e as mudanças específicas por grupo variam de forma imprevisível entre famílias de modelos. As nossas descobertas demonstram que a compressão altera fundamentalmente os padrões de viés, exigindo uma avaliação e intervenções cruciais pós-quantização para garantir a fiabilidade na prática.

English

Post-training quantization reduces the computational cost of large language models but fundamentally alters their social biases in ways that aggregate metrics fail to capture. We present the first large-scale study of 50 quantized models evaluated on PostTrainingBiasBench, a unified benchmark of 13 closed- and open-ended bias datasets. We identify a phenomenon we term quantization-induced masked bias flipping, in which up to 21% of responses flip between biased and unbiased states after quantization, despite showing no change in aggregate bias scores. These flips are strongly driven by model uncertainty, where the responses with high uncertainty are 3-11x more likely to change than the confident ones. Quantization strength amplifies this effect, with 4-bit quantized models exhibiting 4-6x more behavioral changes than 8-bit quantized models. Critically, these changes create asymmetric impacts across demographic groups, where bias can worsen by up to 18.6% for some groups while improving by 14.1% for others, yielding misleadingly neutral aggregate outcomes. Larger models show no consistent robustness advantage, and group-specific shifts vary unpredictably across model families. Our findings demonstrate that compression fundamentally alters bias patterns, requiring crucial post-quantization evaluation and interventions to ensure reliability in practice.