Обзор гиперпараметров активного обучения: выводы из масштабного экспериментального исследования

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Авторы: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Аннотация

Аннотирование данных — это трудоемкая и затратная задача, но она является неотъемлемой частью обучения с учителем в машинном обучении. Активное обучение (Active Learning, AL) — это проверенный метод, который минимизирует усилия по ручной разметке, итеративно выбирая наиболее информативные неразмеченные образцы для экспертной аннотации, тем самым повышая общую производительность классификации. Несмотря на то, что AL известно уже несколько десятилетий, оно до сих пор редко используется в реальных приложениях. Как показали два опроса среди сообщества NLP, посвященных AL, две основные причины продолжают удерживать практиков от его использования: во-первых, сложность настройки AL, а во-вторых, недостаток доверия к его эффективности. Мы предполагаем, что обе причины имеют один и тот же корень: обширное пространство гиперпараметров AL. Это в значительной степени неисследованное пространство гиперпараметров часто приводит к вводящим в заблуждение и невоспроизводимым результатам экспериментов с AL. В данном исследовании мы, во-первых, составили обширную сетку гиперпараметров, включающую более 4,6 миллионов комбинаций, во-вторых, зафиксировали производительность всех комбинаций в самом масштабном на сегодняшний день исследовании AL и, в-третьих, проанализировали влияние каждого гиперпараметра на результаты экспериментов. В заключение мы даем рекомендации относительно влияния каждого гиперпараметра, демонстрируем удивительное влияние конкретной реализации стратегии AL и предлагаем дизайн экспериментального исследования для воспроизводимых экспериментов с AL при минимальных вычислительных затратах, тем самым способствуя более воспроизводимым и надежным исследованиям AL в будущем.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.