Estudio de los Hiperparámetros del Aprendizaje Activo: Perspectivas de una Rejilla Experimental a Gran Escala

Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid

June 4, 2025

Autores: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner

cs.AI

Resumen

Anotar datos es una tarea que consume tiempo y es costosa, pero es inherentemente necesaria para el aprendizaje supervisado de máquinas. El Aprendizaje Activo (AA) es un método establecido que minimiza el esfuerzo de etiquetado humano al seleccionar de manera iterativa las muestras no etiquetadas más informativas para su anotación por expertos, mejorando así el rendimiento general de la clasificación. Aunque el AA se conoce desde hace décadas, todavía se utiliza poco en aplicaciones del mundo real. Como se indica en dos encuestas comunitarias en línea entre la comunidad de Procesamiento del Lenguaje Natural (PLN) sobre el AA, dos razones principales siguen impidiendo que los profesionales utilicen el AA: primero, la complejidad de configurar el AA, y segundo, la falta de confianza en su efectividad. Hipotetizamos que ambas razones comparten el mismo culpable: el amplio espacio de hiperparámetros del AA. Este espacio de hiperparámetros, en su mayoría inexplorado, a menudo conduce a resultados de experimentos de AA engañosos e irreproducibles. En este estudio, primero compilamos una gran cuadrícula de hiperparámetros con más de 4.6 millones de combinaciones de hiperparámetros, segundo, registramos el rendimiento de todas las combinaciones en el estudio de AA más grande realizado hasta la fecha, y tercero, analizamos el impacto de cada hiperparámetro en los resultados del experimento. Al final, ofrecemos recomendaciones sobre la influencia de cada hiperparámetro, demostramos la sorprendente influencia de la implementación concreta de la estrategia de AA y delineamos un diseño de estudio experimental para experimentos de AA reproducibles con un esfuerzo computacional mínimo, contribuyendo así a una investigación de AA más reproducible y confiable en el futuro.

English

Annotating data is a time-consuming and costly task, but it is inherently required for supervised machine learning. Active Learning (AL) is an established method that minimizes human labeling effort by iteratively selecting the most informative unlabeled samples for expert annotation, thereby improving the overall classification performance. Even though AL has been known for decades, AL is still rarely used in real-world applications. As indicated in the two community web surveys among the NLP community about AL, two main reasons continue to hold practitioners back from using AL: first, the complexity of setting AL up, and second, a lack of trust in its effectiveness. We hypothesize that both reasons share the same culprit: the large hyperparameter space of AL. This mostly unexplored hyperparameter space often leads to misleading and irreproducible AL experiment results. In this study, we first compiled a large hyperparameter grid of over 4.6 million hyperparameter combinations, second, recorded the performance of all combinations in the so-far biggest conducted AL study, and third, analyzed the impact of each hyperparameter in the experiment results. In the end, we give recommendations about the influence of each hyperparameter, demonstrate the surprising influence of the concrete AL strategy implementation, and outline an experimental study design for reproducible AL experiments with minimal computational effort, thus contributing to more reproducible and trustworthy AL research in the future.