より賢く訓練せよ、より激しく訓練するな：能動学習におけるスイッチング信号誘導型訓練

要旨

学習戦略、すなわちゼロから再学習するか前回のチェックポイントからファインチューニングするかは、能動学習において見過ごされてきた決定変数である。我々は、この選択に活用可能な構造があることを示す。再学習は、各バッチがラベル付きデータの分布を大きく変え得る初期ラウンドで最も有用であり、モデルの軌跡が安定化するとファインチューニングの方が安全になる。我々はHybridALを提案する。これは、オンライン安定化信号を監視し、安定化が持続した後に再学習からファインチューニングへ切り替える適応的学習スケジュールである。二つの相補的信号であるスペクトル指数変化Δα（重みに基づく）と精度変化ΔAcc（検証に基づく）は、時間とキャリブレーションのトレードオフ上の異なる点に位置する。3種類のエンコーダバックボーンと6つのテキスト分類タスク（各5シード）において、HybridALは、最終時点のマクロF1について、再学習およびファインチューニングに対する非劣性を0.010のマージンで保ち、再学習時間を最大49%節約し、負の対数尤度（NLL）で測定される再学習のキャリブレーション優位性の相当な部分を回復する。事前に定めたラウンドで切り替えるスケジュールと比較して、HybridALは中程度の追加コストでより低いNLLを得ており、軌道依存の切り替えが固定された早期切り替えよりも強い時間とキャリブレーションのトレードオフをもたらすことを示している。

English

Training strategy, namely whether to retrain from scratch or fine-tune from the previous checkpoint, is an overlooked decision variable in active learning. We show that this choice has exploitable structure: retraining is most useful in early rounds, when each batch can substantially reshape the labeled distribution, while fine-tuning becomes safer once the model trajectory stabilizes. We propose HybridAL, an adaptive training schedule that monitors an online stabilization signal and switches from retraining to fine-tuning after sustained stabilization. Two complementary signals, spectral exponent change Δα (weight-based) and accuracy change ΔAcc (validation-based), span different points on the time-calibration trade-off. Across three encoder backbones and six text-classification tasks (five seeds each), HybridAL keeps endpoint macro-F1 non-inferior to retraining and fine-tuning at a 0.010 margin, saves up to 49% of retraining time, and recovers a substantial fraction of retraining's calibration advantage as measured by negative log-likelihood (NLL). Compared with schedules that switch at a pre-committed round, HybridAL obtains lower NLL at moderate additional cost, showing that trajectory-dependent switching provides a stronger time-calibration trade-off than fixed early switching.