Levantamento dos Hiperparâmetros de Aprendizado Ativo: Insights de uma Grade Experimental em Larga Escala

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Autores: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Resumo

Anotar dados é uma tarefa demorada e custosa, mas é intrinsecamente necessária para o aprendizado de máquina supervisionado. O Aprendizado Ativo (AA) é um método consolidado que minimiza o esforço de rotulagem humana ao selecionar iterativamente as amostras não rotuladas mais informativas para anotação por especialistas, melhorando assim o desempenho geral da classificação. Apesar de o AA ser conhecido há décadas, ele ainda é raramente utilizado em aplicações do mundo real. Como indicado em duas pesquisas comunitárias realizadas entre a comunidade de PLN sobre o AA, dois motivos principais continuam a impedir os profissionais de adotar o AA: primeiro, a complexidade de configurar o AA, e segundo, a falta de confiança em sua eficácia. Nossa hipótese é que ambos os motivos têm o mesmo culpado: o grande espaço de hiperparâmetros do AA. Esse espaço de hiperparâmetros, em grande parte inexplorado, frequentemente leva a resultados de experimentos de AA enganosos e irreproduzíveis. Neste estudo, primeiro compilamos uma grade extensa de hiperparâmetros com mais de 4,6 milhões de combinações, segundo, registramos o desempenho de todas as combinações no maior estudo de AA já conduzido até o momento, e terceiro, analisamos o impacto de cada hiperparâmetro nos resultados dos experimentos. Por fim, fornecemos recomendações sobre a influência de cada hiperparâmetro, demonstramos a surpreendente influência da implementação concreta da estratégia de AA e delineamos um design de estudo experimental para experimentos de AA reproduzíveis com esforço computacional mínimo, contribuindo assim para uma pesquisa de AA mais reproduzível e confiável no futuro.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.