Übersicht über Hyperparameter des aktiven Lernens: Erkenntnisse aus einem groß angelegten experimentellen Raster

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Autoren: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Zusammenfassung

Das Annotieren von Daten ist eine zeitaufwändige und kostspielige Aufgabe, aber sie ist für überwachtes maschinelles Lernen unerlässlich. Active Learning (AL) ist eine etablierte Methode, die den menschlichen Beschriftungsaufwand minimiert, indem sie iterativ die informativsten unmarkierten Stichproben für die Expertenannotation auswählt und dadurch die Gesamtklassifikationsleistung verbessert. Obwohl AL seit Jahrzehnten bekannt ist, wird es in realen Anwendungen immer noch selten eingesetzt. Wie in zwei Community-Webumfragen unter der NLP-Community zu AL angegeben, halten zwei Hauptgründe Praktiker weiterhin davon ab, AL zu verwenden: erstens die Komplexität der Einrichtung von AL und zweitens ein Mangel an Vertrauen in seine Wirksamkeit. Wir vermuten, dass beide Gründe denselben Auslöser haben: den großen Hyperparameterraum von AL. Dieser größtenteils unerforschte Hyperparameterraum führt oft zu irreführenden und nicht reproduzierbaren AL-Experimentergebnissen. In dieser Studie haben wir zunächst ein großes Hyperparametergitter mit über 4,6 Millionen Hyperparameterkombinationen zusammengestellt, zweitens die Leistung aller Kombinationen in der bisher größten durchgeführten AL-Studie aufgezeichnet und drittens die Auswirkungen jedes Hyperparameters auf die Experimentergebnisse analysiert. Abschließend geben wir Empfehlungen zum Einfluss jedes Hyperparameters, demonstrieren den überraschenden Einfluss der konkreten AL-Strategieimplementierung und skizzieren ein experimentelles Studiendesign für reproduzierbare AL-Experimente mit minimalem Rechenaufwand, wodurch wir zu einer reproduzierbareren und vertrauenswürdigeren AL-Forschung in der Zukunft beitragen.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.