Entropie-gebaseerde adaptieve weging voor zelf-training

Entropy-Based Adaptive Weighting for Self-Training

March 31, 2025

Auteurs: Xiaoxuan Wang, Yihe Deng, Mingyu Derek Ma, Wei Wang

cs.AI

Samenvatting

De wiskundige probleemoplossende capaciteiten van grote taalmodellen zijn een belangrijk aandachtspunt geworden in onderzoek, met een groeiende interesse in het benutten van zelf gegenereerde redeneerpaden als een veelbelovende manier om deze modellen te verfijnen en te verbeteren. Deze paden vangen stapsgewijze logische processen vast, terwijl alleen het juiste antwoord nodig is voor supervisie. De zelf-trainingsmethode is effectief gebleken bij redeneertaken, terwijl de behoefte aan externe modellen en handmatige annotaties wordt geëlimineerd. Het optimaliseren van het gebruik van zelf gegenereerde gegevens voor modeltraining blijft echter een open uitdaging. In dit werk stellen we Entropy-Based Adaptive Weighting for Self-Training (EAST) voor, een adaptieve wegingstrategie die is ontworpen om onzekere gegevens tijdens zelf-training te prioriteren. Specifiek maakt EAST gebruik van een afbeeldingsfunctie met een instelbare parameter die de scherpte van de weging regelt, waarbij hogere gewichten worden toegekend aan gegevens waar het model grotere onzekerheid vertoont. Deze aanpak leidt het model om zich te concentreren op meer informatieve en uitdagende voorbeelden, waardoor het redeneervermogen wordt verbeterd. We evalueren onze aanpak op de GSM8K- en MATH-benchmarks. Empirische resultaten tonen aan dat, terwijl de standaardmethode vrijwel geen verbetering (0%) oplevert op MATH, EAST een winst van ongeveer 1% behaalt ten opzichte van het basismodel. Op GSM8K behaalt EAST een verdere prestatieverbetering van 1-2% in vergelijking met de standaardmethode.

English

The mathematical problem-solving capabilities of large language models have become a focal point of research, with growing interests in leveraging self-generated reasoning paths as a promising way to refine and enhance these models. These paths capture step-by-step logical processes while requiring only the correct answer for supervision. The self-training method has been shown to be effective in reasoning tasks while eliminating the need for external models and manual annotations. However, optimizing the use of self-generated data for model training remains an open challenge. In this work, we propose Entropy-Based Adaptive Weighting for Self-Training (EAST), an adaptive weighting strategy designed to prioritize uncertain data during self-training. Specifically, EAST employs a mapping function with a tunable parameter that controls the sharpness of the weighting, assigning higher weights to data where the model exhibits greater uncertainty. This approach guides the model to focus on more informative and challenging examples, thereby enhancing its reasoning ability. We evaluate our approach on GSM8K and MATH benchmarks. Empirical results show that, while the vanilla method yields virtually no improvement (0%) on MATH, EAST achieves around a 1% gain over backbone model. On GSM8K, EAST attains a further 1-2% performance boost compared to the vanilla method.