Ungewissheit treibt Veränderungen sozialer Verzerrungen in quantisierten großen Sprachmodellen voran
Uncertainty Drives Social Bias Changes in Quantized Large Language Models
February 5, 2026
Autoren: Stanley Z. Hua, Sanae Lotfi, Irene Y. Chen
cs.AI
Zusammenfassung
Post-Quantisierung reduziert die Rechenkosten großer Sprachmodelle, verändert jedoch grundlegend deren soziale Verzerrungen, was durch aggregierte Metriken nicht erfasst wird. Wir präsentieren die erste groß angelegte Studie von 50 quantisierten Modellen, die auf PostTrainingBiasBench – einem einheitlichen Benchmark mit 13 Bias-Datensätzen für geschlossene und offene Aufgaben – evaluiert wurden. Wir identifizieren ein Phänomen, das wir als quantisierungsinduziertes maskiertes Bias-Umkippen bezeichnen, bei dem bis zu 21 % der Antworten nach der Quantisierung zwischen verzerrten und unverzerrten Zuständen wechseln, obwohl sich die aggregierten Bias-Werte nicht ändern. Diese Wechsel werden stark durch die Modellunsicherheit beeinflusst: Antworten mit hoher Unsicherheit sind 3- bis 11-mal häufiger betroffen als confidente Antworten. Die Quantisierungsstärke verstärkt diesen Effekt, wobei 4-Bit-quantisierte Modelle 4- bis 6-mal mehr Verhaltensänderungen aufweisen als 8-Bit-quantisierte Modelle. Entscheidend ist, dass diese Veränderungen asymmetrische Auswirkungen auf demografische Gruppen haben – die Verzerrung kann sich für einige Gruppen um bis zu 18,6 % verschlechtern, während sie sich für andere um 14,1 % verbessert, was irreführend neutrale Gesamtergebnisse liefert. Größere Modelle zeigen keinen konsistenten Robustheitsvorteil, und gruppenspezifische Verschiebungen variieren unvorhersehbar zwischen Modellfamilien. Unsere Ergebnisse zeigen, dass Komprimierung Bias-Muster grundlegend verändert, was eine entscheidende Evaluierung und Intervention nach der Quantisierung erfordert, um praktische Zuverlässigkeit zu gewährleisten.
English
Post-training quantization reduces the computational cost of large language models but fundamentally alters their social biases in ways that aggregate metrics fail to capture. We present the first large-scale study of 50 quantized models evaluated on PostTrainingBiasBench, a unified benchmark of 13 closed- and open-ended bias datasets. We identify a phenomenon we term quantization-induced masked bias flipping, in which up to 21% of responses flip between biased and unbiased states after quantization, despite showing no change in aggregate bias scores. These flips are strongly driven by model uncertainty, where the responses with high uncertainty are 3-11x more likely to change than the confident ones. Quantization strength amplifies this effect, with 4-bit quantized models exhibiting 4-6x more behavioral changes than 8-bit quantized models. Critically, these changes create asymmetric impacts across demographic groups, where bias can worsen by up to 18.6% for some groups while improving by 14.1% for others, yielding misleadingly neutral aggregate outcomes. Larger models show no consistent robustness advantage, and group-specific shifts vary unpredictably across model families. Our findings demonstrate that compression fundamentally alters bias patterns, requiring crucial post-quantization evaluation and interventions to ensure reliability in practice.