Indagine sugli Iperparametri dell'Apprendimento Attivo: Approfondimenti da una Griglia Sperimentale su Larga Scala

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Autori: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Abstract

L'annotazione dei dati è un compito dispendioso in termini di tempo e costi, ma è intrinsecamente necessaria per l'apprendimento supervisionato. L'Active Learning (AL) è un metodo consolidato che minimizza lo sforzo di etichettatura umana selezionando iterativamente i campioni non etichettati più informativi per l'annotazione da parte di esperti, migliorando così le prestazioni complessive della classificazione. Nonostante l'AL sia noto da decenni, è ancora raramente utilizzato nelle applicazioni reali. Come indicato in due sondaggi web condotti nella comunità NLP sull'AL, due ragioni principali continuano a frenare i professionisti dall'utilizzarlo: in primo luogo, la complessità della configurazione dell'AL e, in secondo luogo, una mancanza di fiducia nella sua efficacia. Ipotesizziamo che entrambe le ragioni condividano la stessa causa: il vasto spazio degli iperparametri dell'AL. Questo spazio, per lo più inesplorato, spesso porta a risultati sperimentali fuorvianti e non riproducibili. In questo studio, abbiamo prima compilato una griglia di iperparametri con oltre 4,6 milioni di combinazioni, poi registrato le prestazioni di tutte le combinazioni nel più ampio studio sull'AL condotto finora e, infine, analizzato l'impatto di ciascun iperparametro sui risultati sperimentali. Alla fine, forniamo raccomandazioni sull'influenza di ciascun iperparametro, dimostriamo la sorprendente influenza dell'implementazione concreta della strategia di AL e delineiamo un design sperimentale per esperimenti di AL riproducibili con uno sforzo computazionale minimo, contribuendo così a una ricerca sull'AL più riproducibile e affidabile in futuro.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.