Het beperken van lengtevooroordeel van labels in grote taalmodellen

Mitigating Label Length Bias in Large Language Models

November 18, 2025

Auteurs: Mario Sanz-Guerrero, Katharina von der Wense

cs.AI

Samenvatting

Grote taalmodellen (LLM's) zijn krachtige zero-shot en few-shot learners. Wanneer ze echter voorspellingen maken over een reeks kandidaat-opties, hebben LLM's last van labelvooroordelen, en bestaande kalibratiemethoden negeren de vooroordelen die ontstaan door multi-token klasse-labels. Wij pakken een probleem aan dat we label-lengtevooroordeel noemen, waarbij labels van verschillende lengtes inconsistent worden behandeld, zelfs na standaard lengtenormalisatie. Om dit te verhelpen, stellen we genormaliseerde contextuele kalibratie (NCC) voor, een effectieve methode die voorspellingen normaliseert en kalibreert op het niveau van het volledige label. NCC behaalt statistisch significante verbeteringen ten opzichte van eerdere aanpakken over meerdere datasets en modellen, met winst tot 10% F1. Bovendien breidt NCC de beperking van vooroordelen uit naar bredere taken, zoals meerkeuzevragen beantwoorden. Onze analyse toont aan dat NCC, in combinatie met in-context learning, minder gevoelig is voor de selectie van few-shot voorbeelden, minder voorbeelden nodig heeft voor competitieve prestaties en betrouwbaardere betrouwbaarheidsschattingen produceert. Deze bevindingen benadrukken het belang van het beperken van volledige-labelvooroordelen om de prestaties en robuustheid van op LLM's gebaseerde methoden te verbeteren, vooral in real-world toepassingen waar klasse-labels van nature uit meerdere tokens bestaan.

English

Large language models (LLMs) are powerful zero- and few-shot learners. However, when predicting over a set of candidate options, LLMs suffer from label biases, and existing calibration methods overlook biases arising from multi-token class labels. We tackle an issue we call label length bias, where labels of different lengths are treated inconsistently, even after standard length normalization. To mitigate it, we propose normalized contextual calibration (NCC), an effective method that normalizes and calibrates predictions at the full-label level. NCC achieves statistically significant improvements over prior approaches across multiple datasets and models, with gains of up to 10% F1. Moreover, NCC extends bias mitigation to broader tasks such as multiple-choice question answering. Our analysis shows that, when combined with in-context learning, NCC is less sensitive to few-shot example selection, requires fewer examples for competitive performance, and produces more reliable confidence estimates. These findings highlight the importance of mitigating full-label biases to improve the performance and robustness of LLM-based methods, particularly in real-world applications where class labels naturally consist of multiple tokens.