QuantLRM: Kwantisatie van Grote Redeneermodellen via Fijnstemmingssignalen
QuantLRM: Quantization of Large Reasoning Models via Fine-Tuning Signals
January 31, 2026
Auteurs: Nan Zhang, Eugene Kwek, Yusen Zhang, Muyu Pan, Suhang Wang, Prasenjit Mitra, Rui Zhang
cs.AI
Samenvatting
Gewichtsgebaseerde kwantisatie is belangrijk voor het comprimeren van grote taalmodel(len) (LLM's). Geïnspireerd door de gedachte achter klassieke magnitude pruning, onderzoeken we of de omvang van gewichtsupdates tijdens reasoning-gestuurde fine-tuning waardevolle signalen kan bieden voor het kwantiseren van grote redeneermodellen (LRM's). Wij veronderstellen dat de kleinste en grootste gewichtsupdates tijdens fine-tuning belangrijker zijn dan updates met een tussenliggende omvang, een fenomeen dat wij "beide uitersten beschermen" noemen. Na hypothesevalidatie introduceren we QuantLRM, wat staat voor gewichtskwantisatie van LRM's via fine-tuning-signalen. We passen eenvoudige beperkte kwadratische functies toe op gewichtsupdates om beide uitersten te beschermen. Door de gemiddelde kwadratische waarden te vermenigvuldigen met het aantal nul-gewichtsupdates per kanaal, berekenen we kanaalbelangrijkheid die effectiever is dan het gebruik van activatie- of tweede-orde-informatie. We voeren QuantLRM uit om diverse gefinetunede modellen (inclusief supervised, direct preference optimization en reinforcement learning fine-tuning) te kwantiseren over vier redeneerbenchmarks (AIME-120, FOLIO, temporele sequenties en GPQA-Diamond) en vinden empirisch dat QuantLRM een consistente verbetering biedt voor LRM-kwantisatie, met een gemiddelde verbetering van 6,55% op een reinforcement learning-gefinetuned model. QuantLRM ondersteunt ook niet-gefinetunede LRM's door effectieve signalen te verzamelen via pseudo-fine-tuning, wat de toepasbaarheid ervan aanzienlijk vergroot.
English
Weight-only quantization is important for compressing Large Language Models (LLMs). Inspired by the spirit of classical magnitude pruning, we study whether the magnitude of weight updates during reasoning-incentivized fine-tuning can provide valuable signals for quantizing Large Reasoning Models (LRMs). We hypothesize that the smallest and largest weight updates during fine-tuning are more important than those of intermediate magnitude, a phenomenon we term "protecting both ends". Upon hypothesis validation, we introduce QuantLRM, which stands for weight quantization of LRMs via fine-tuning signals. We fit simple restricted quadratic functions on weight updates to protect both ends. By multiplying the average quadratic values with the count of zero weight updates of channels, we compute channel importance that is more effective than using activation or second-order information. We run QuantLRM to quantize various fine-tuned models (including supervised, direct preference optimization, and reinforcement learning fine-tuning) over four reasoning benchmarks (AIME-120, FOLIO, temporal sequences, and GPQA-Diamond) and empirically find that QuantLRM delivers a consistent improvement for LRMs quantization, with an average improvement of 6.55% on a reinforcement learning fine-tuned model. Also supporting non-fine-tuned LRMs, QuantLRM gathers effective signals via pseudo-fine-tuning, which greatly enhances its applicability.