アクティブラーニングのハイパーパラメータに関する調査：大規模実験グリッドからの知見
Survey of Active Learning Hyperparameters: Insights from a Large-Scale Experimental Grid
June 4, 2025
著者: Julius Gonsior, Tim Rieß, Anja Reusch, Claudio Hartmann, Maik Thiele, Wolfgang Lehner
cs.AI
要旨
データのアノテーションは時間とコストを要する作業であるが、教師あり機械学習において本質的に必要とされる。アクティブラーニング（AL）は、人間によるラベリング作業を最小化するために確立された手法であり、最も情報量の多い未ラベルサンプルを反復的に選択して専門家によるアノテーションを行うことで、全体の分類性能を向上させる。ALは数十年にわたって知られているにもかかわらず、実世界のアプリケーションではまだほとんど使用されていない。NLPコミュニティにおけるALに関する2つのウェブ調査で示されたように、実践者がALを使用しない主な理由は2つある。第一に、ALを設定する複雑さ、第二に、その有効性に対する信頼の欠如である。我々は、これらの理由が同じ原因、すなわちALの大きなハイパーパラメータ空間に起因すると仮説を立てた。このほとんど未探索のハイパーパラメータ空間は、しばしば誤解を招き、再現性のないAL実験結果を引き起こす。本研究では、まず460万以上のハイパーパラメータの組み合わせからなる大規模なハイパーパラメータグリッドを構築し、次に、これまでで最大規模のAL研究においてすべての組み合わせの性能を記録し、最後に、各ハイパーパラメータが実験結果に与える影響を分析した。最終的に、各ハイパーパラメータの影響に関する推奨事項を示し、具体的なAL戦略の実装が驚くほど大きな影響を与えることを実証し、最小限の計算コストで再現性のあるAL実験を行うための実験設計を概説した。これにより、将来のAL研究がより再現性と信頼性を高めることに貢献する。
English
Annotating data is a time-consuming and costly task, but it is inherently
required for supervised machine learning. Active Learning (AL) is an
established method that minimizes human labeling effort by iteratively
selecting the most informative unlabeled samples for expert annotation, thereby
improving the overall classification performance. Even though AL has been known
for decades, AL is still rarely used in real-world applications. As indicated
in the two community web surveys among the NLP community about AL, two main
reasons continue to hold practitioners back from using AL: first, the
complexity of setting AL up, and second, a lack of trust in its effectiveness.
We hypothesize that both reasons share the same culprit: the large
hyperparameter space of AL. This mostly unexplored hyperparameter space often
leads to misleading and irreproducible AL experiment results. In this study, we
first compiled a large hyperparameter grid of over 4.6 million hyperparameter
combinations, second, recorded the performance of all combinations in the
so-far biggest conducted AL study, and third, analyzed the impact of each
hyperparameter in the experiment results. In the end, we give recommendations
about the influence of each hyperparameter, demonstrate the surprising
influence of the concrete AL strategy implementation, and outline an
experimental study design for reproducible AL experiments with minimal
computational effort, thus contributing to more reproducible and trustworthy AL
research in the future.