LoFT: Эффективная по параметрам тонкая настройка для полуконтролируемого обучения с длинным хвостом в открытых сценариях

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

September 12, 2025

Авторы: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su

cs.AI

Аннотация

Обучение с длинным хвостом привлекает все больше внимания благодаря своей широкой применимости в реальных сценариях. Среди существующих подходов полуавтоматическое обучение с длинным хвостом (Long-Tailed Semi-Supervised Learning, LTSSL) стало эффективным решением, позволяющим интегрировать большое количество неразмеченных данных в несбалансированный размеченный набор. Однако большинство существующих методов LTSSL предназначены для обучения моделей с нуля, что часто приводит к таким проблемам, как излишняя уверенность и низкое качество псевдоразметки. Для решения этих задач мы расширяем LTSSL в парадигму тонкой настройки базовых моделей и предлагаем новый фреймворк: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). Мы показываем, что тонко настроенные базовые модели могут генерировать более надежную псевдоразметку, что способствует улучшению обучения на несбалансированных данных. Кроме того, мы исследуем более практичный сценарий, изучая полуавтоматическое обучение в условиях открытого мира, где неразмеченные данные могут содержать образцы, выходящие за пределы распределения (out-of-distribution, OOD). Для решения этой проблемы мы предлагаем LoFT-OW (LoFT under Open-World scenarios), чтобы повысить дискриминативную способность модели. Экспериментальные результаты на нескольких бенчмарках демонстрируют, что наш метод превосходит предыдущие подходы, даже при использовании всего 1% неразмеченных данных по сравнению с предыдущими работами.

English

Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.