LoFT : Réglage fin efficace en paramètres pour l'apprentissage semi-supervisé à longue queue dans des scénarios de monde ouvert

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

September 12, 2025

papers.authors: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su

cs.AI

papers.abstract

L'apprentissage à longue traîne a suscité un intérêt croissant en raison de son applicabilité étendue dans des scénarios réels. Parmi les approches existantes, l'apprentissage semi-supervisé à longue traîne (LTSSL) s'est imposé comme une solution efficace en intégrant une grande quantité de données non étiquetées dans un ensemble de données étiquetées déséquilibré. Cependant, la plupart des méthodes LTSSL précédentes sont conçues pour entraîner des modèles à partir de zéro, ce qui entraîne souvent des problèmes tels qu'une confiance excessive et des pseudo-étiquettes de faible qualité. Pour relever ces défis, nous étendons le LTSSL au paradigme de réglage fin des modèles de base et proposons un nouveau cadre : LoFT (apprentissage semi-supervisé à longue traîne via un réglage fin paramétrique efficace). Nous démontrons que les modèles de base réglés finement peuvent générer des pseudo-étiquettes plus fiables, bénéficiant ainsi à l'apprentissage déséquilibré. De plus, nous explorons un cadre plus pratique en étudiant l'apprentissage semi-supervisé dans des conditions de monde ouvert, où les données non étiquetées peuvent inclure des échantillons hors distribution (OOD). Pour résoudre ce problème, nous proposons LoFT-OW (LoFT dans des scénarios de monde ouvert) afin d'améliorer la capacité discriminative. Les résultats expérimentaux sur plusieurs benchmarks montrent que notre méthode obtient des performances supérieures par rapport aux approches précédentes, même en utilisant seulement 1 % des données non étiquetées par rapport aux travaux antérieurs.

English

Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.