Entropie-basierte adaptive Gewichtung für Selbsttraining

Entropy-Based Adaptive Weighting for Self-Training

March 31, 2025

Autoren: Xiaoxuan Wang, Yihe Deng, Mingyu Derek Ma, Wei Wang

cs.AI

Zusammenfassung

Die mathematischen Problemlösungsfähigkeiten großer Sprachmodelle sind zu einem zentralen Forschungsschwerpunkt geworden, wobei das Interesse an der Nutzung selbstgenerierter Argumentationspfade als vielversprechender Ansatz zur Verfeinerung und Verbesserung dieser Modelle stetig wächst. Diese Pfade erfassen schrittweise logische Prozesse, während sie lediglich die korrekte Antwort zur Überwachung benötigen. Die Selbsttrainingsmethode hat sich bei Aufgaben, die logisches Denken erfordern, als effektiv erwiesen, wodurch der Bedarf an externen Modellen und manuellen Annotationen entfällt. Die Optimierung der Nutzung selbstgenerierter Daten für das Modelltraining bleibt jedoch eine offene Herausforderung. In dieser Arbeit schlagen wir Entropy-Based Adaptive Weighting for Self-Training (EAST) vor, eine adaptive Gewichtungsstrategie, die darauf abzielt, unsichere Daten während des Selbsttrainings zu priorisieren. Konkret verwendet EAST eine Abbildungsfunktion mit einem einstellbaren Parameter, der die Schärfe der Gewichtung steuert und höhere Gewichte Daten zuweist, bei denen das Modell größere Unsicherheit zeigt. Dieser Ansatz leitet das Modell an, sich auf informativer und herausfordernder Beispiele zu konzentrieren, wodurch seine Argumentationsfähigkeit verbessert wird. Wir evaluieren unseren Ansatz anhand der GSM8K- und MATH-Benchmarks. Empirische Ergebnisse zeigen, dass die Standardmethode auf MATH praktisch keine Verbesserung (0 %) erzielt, während EAST einen Gewinn von etwa 1 % gegenüber dem Basismodell erreicht. Auf GSM8K erzielt EAST im Vergleich zur Standardmethode eine weitere Leistungssteigerung von 1–2 %.

English

The mathematical problem-solving capabilities of large language models have become a focal point of research, with growing interests in leveraging self-generated reasoning paths as a promising way to refine and enhance these models. These paths capture step-by-step logical processes while requiring only the correct answer for supervision. The self-training method has been shown to be effective in reasoning tasks while eliminating the need for external models and manual annotations. However, optimizing the use of self-generated data for model training remains an open challenge. In this work, we propose Entropy-Based Adaptive Weighting for Self-Training (EAST), an adaptive weighting strategy designed to prioritize uncertain data during self-training. Specifically, EAST employs a mapping function with a tunable parameter that controls the sharpness of the weighting, assigning higher weights to data where the model exhibits greater uncertainty. This approach guides the model to focus on more informative and challenging examples, thereby enhancing its reasoning ability. We evaluate our approach on GSM8K and MATH benchmarks. Empirical results show that, while the vanilla method yields virtually no improvement (0%) on MATH, EAST achieves around a 1% gain over backbone model. On GSM8K, EAST attains a further 1-2% performance boost compared to the vanilla method.