Overzicht van Hyperparameters voor Actief Leren: Inzichten uit een Grootschalig Experimenteel Raster

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Auteurs: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Samenvatting

Het annoteren van gegevens is een tijdrovende en kostbare taak, maar het is inherent vereist voor supervised machine learning. Actief Leren (Active Learning, AL) is een gevestigde methode die de inspanning voor menselijke labeling minimaliseert door iteratief de meest informatieve niet-gelabelde samples te selecteren voor expertannotatie, waardoor de algehele classificatieprestatie wordt verbeterd. Hoewel AL al decennia bekend is, wordt het nog steeds zelden gebruikt in praktijktoepassingen. Zoals aangegeven in twee community-webenquêtes onder de NLP-gemeenschap over AL, houden twee hoofdredenen beoefenaars nog steeds tegen om AL te gebruiken: ten eerste de complexiteit van het opzetten van AL, en ten tweede een gebrek aan vertrouwen in de effectiviteit ervan. Wij veronderstellen dat beide redenen dezelfde oorzaak hebben: de grote hyperparameterruimte van AL. Deze grotendeels onontgonnen hyperparameterruimte leidt vaak tot misleidende en niet-reproduceerbare AL-experimentresultaten. In deze studie hebben we eerst een grote hyperparameterrooster samengesteld van meer dan 4,6 miljoen hyperparametercombinaties, vervolgens de prestaties van alle combinaties vastgelegd in de tot nu toe grootste uitgevoerde AL-studie, en ten derde de impact van elke hyperparameter op de experimentresultaten geanalyseerd. Tot slot geven we aanbevelingen over de invloed van elke hyperparameter, demonstreren we de verrassende invloed van de concrete implementatie van de AL-strategie, en schetsen we een experimentele studieopzet voor reproduceerbare AL-experimenten met minimale rekeninspanning, waardoor we bijdragen aan meer reproduceerbaar en betrouwbaar AL-onderzoek in de toekomst.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.