Étude des Hyperparamètres de l'Apprentissage Actif : Perspectives Issues d'une Grille Expérimentale à Grande Échelle

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Auteurs: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Résumé

L'annotation des données est une tâche chronophage et coûteuse, mais elle est intrinsèquement nécessaire pour l'apprentissage supervisé. L'Apprentissage Actif (Active Learning, AL) est une méthode bien établie qui minimise l'effort d'étiquetage humain en sélectionnant itérativement les échantillons non étiquetés les plus informatifs pour une annotation experte, améliorant ainsi les performances globales de classification. Bien que l'AL soit connu depuis des décennies, il est encore rarement utilisé dans les applications réelles. Comme indiqué dans deux enquêtes communautaires en ligne menées auprès de la communauté du traitement automatique du langage naturel (TALN) sur l'AL, deux raisons principales continuent de dissuader les praticiens d'utiliser l'AL : premièrement, la complexité de sa mise en place, et deuxièmement, un manque de confiance en son efficacité. Nous émettons l'hypothèse que ces deux raisons partagent la même cause : le vaste espace des hyperparamètres de l'AL. Cet espace d'hyperparamètres largement inexploré conduit souvent à des résultats d'expériences AL trompeurs et non reproductibles. Dans cette étude, nous avons d'abord compilé une grille d'hyperparamètres de plus de 4,6 millions de combinaisons, ensuite enregistré les performances de toutes ces combinaisons dans la plus grande étude AL menée à ce jour, et enfin analysé l'impact de chaque hyperparamètre sur les résultats expérimentaux. En conclusion, nous formulons des recommandations sur l'influence de chaque hyperparamètre, démontrons l'influence surprenante de l'implémentation concrète de la stratégie AL, et proposons un plan d'étude expérimentale pour des expériences AL reproductibles avec un effort computationnel minimal, contribuant ainsi à une recherche AL plus reproductible et fiable à l'avenir.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.