Энтропийно-адаптивное взвешивание для самообучения

Entropy-Based Adaptive Weighting for Self-Training

March 31, 2025

Авторы: Xiaoxuan Wang, Yihe Deng, Mingyu Derek Ma, Wei Wang

cs.AI

Аннотация

Математические способности крупных языковых моделей к решению задач стали ключевым направлением исследований, при этом растет интерес к использованию самостоятельно генерируемых цепочек рассуждений как перспективного способа улучшения и развития этих моделей. Такие цепочки фиксируют пошаговые логические процессы, требуя при этом только правильного ответа для контроля. Метод самообучения доказал свою эффективность в задачах, связанных с рассуждениями, устраняя необходимость в использовании внешних моделей и ручной аннотации. Однако оптимизация использования самостоятельно сгенерированных данных для обучения моделей остается открытой проблемой. В данной работе мы предлагаем метод адаптивного взвешивания на основе энтропии для самообучения (Entropy-Based Adaptive Weighting for Self-Training, EAST) — стратегию адаптивного взвешивания, предназначенную для приоритизации неопределенных данных в процессе самообучения. В частности, EAST использует функцию отображения с настраиваемым параметром, который контролирует степень резкости взвешивания, присваивая больший вес данным, в которых модель демонстрирует более высокую неопределенность. Этот подход направляет модель на более информативные и сложные примеры, тем самым улучшая ее способность к рассуждениям. Мы оцениваем наш подход на наборах данных GSM8K и MATH. Эмпирические результаты показывают, что, в то время как базовый метод практически не дает улучшений (0%) на MATH, EAST достигает прироста примерно на 1% по сравнению с базовой моделью. На GSM8K EAST обеспечивает дополнительное улучшение производительности на 1-2% по сравнению с базовым методом.

English

The mathematical problem-solving capabilities of large language models have become a focal point of research, with growing interests in leveraging self-generated reasoning paths as a promising way to refine and enhance these models. These paths capture step-by-step logical processes while requiring only the correct answer for supervision. The self-training method has been shown to be effective in reasoning tasks while eliminating the need for external models and manual annotations. However, optimizing the use of self-generated data for model training remains an open challenge. In this work, we propose Entropy-Based Adaptive Weighting for Self-Training (EAST), an adaptive weighting strategy designed to prioritize uncertain data during self-training. Specifically, EAST employs a mapping function with a tunable parameter that controls the sharpness of the weighting, assigning higher weights to data where the model exhibits greater uncertainty. This approach guides the model to focus on more informative and challenging examples, thereby enhancing its reasoning ability. We evaluate our approach on GSM8K and MATH benchmarks. Empirical results show that, while the vanilla method yields virtually no improvement (0%) on MATH, EAST achieves around a 1% gain over backbone model. On GSM8K, EAST attains a further 1-2% performance boost compared to the vanilla method.