Pondération adaptative basée sur l'entropie pour l'auto-apprentissage

Entropy-Based Adaptive Weighting for Self-Training

March 31, 2025

Auteurs: Xiaoxuan Wang, Yihe Deng, Mingyu Derek Ma, Wei Wang

cs.AI

Résumé

Les capacités de résolution de problèmes mathématiques des grands modèles de langage sont devenues un point central de la recherche, avec un intérêt croissant pour l'exploitation de chemins de raisonnement auto-générés comme une voie prometteuse pour affiner et améliorer ces modèles. Ces chemins capturent des processus logiques étape par étape tout en ne nécessitant que la réponse correcte pour la supervision. La méthode d'auto-apprentissage s'est avérée efficace pour les tâches de raisonnement tout en éliminant le besoin de modèles externes et d'annotations manuelles. Cependant, optimiser l'utilisation des données auto-générées pour l'entraînement des modèles reste un défi ouvert. Dans ce travail, nous proposons l'Adaptation Ponderée Basée sur l'Entropie pour l'Auto-Apprentissage (EAST), une stratégie de pondération adaptative conçue pour prioriser les données incertaines lors de l'auto-apprentissage. Plus précisément, EAST utilise une fonction de mappage avec un paramètre ajustable qui contrôle la netteté de la pondération, attribuant des poids plus élevés aux données où le modèle présente une plus grande incertitude. Cette approche guide le modèle à se concentrer sur des exemples plus informatifs et plus difficiles, améliorant ainsi sa capacité de raisonnement. Nous évaluons notre approche sur les benchmarks GSM8K et MATH. Les résultats empiriques montrent que, tandis que la méthode de base ne produit pratiquement aucune amélioration (0%) sur MATH, EAST obtient un gain d'environ 1% par rapport au modèle de référence. Sur GSM8K, EAST atteint une amélioration supplémentaire de 1 à 2% par rapport à la méthode de base.

English

The mathematical problem-solving capabilities of large language models have become a focal point of research, with growing interests in leveraging self-generated reasoning paths as a promising way to refine and enhance these models. These paths capture step-by-step logical processes while requiring only the correct answer for supervision. The self-training method has been shown to be effective in reasoning tasks while eliminating the need for external models and manual annotations. However, optimizing the use of self-generated data for model training remains an open challenge. In this work, we propose Entropy-Based Adaptive Weighting for Self-Training (EAST), an adaptive weighting strategy designed to prioritize uncertain data during self-training. Specifically, EAST employs a mapping function with a tunable parameter that controls the sharpness of the weighting, assigning higher weights to data where the model exhibits greater uncertainty. This approach guides the model to focus on more informative and challenging examples, thereby enhancing its reasoning ability. We evaluate our approach on GSM8K and MATH benchmarks. Empirical results show that, while the vanilla method yields virtually no improvement (0%) on MATH, EAST achieves around a 1% gain over backbone model. On GSM8K, EAST attains a further 1-2% performance boost compared to the vanilla method.