LoFT: Parameter-efficiënte fine-tuning voor semi-gesuperviseerd leren met lange staartverdeling in open-wereldscenario's

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

September 12, 2025

Auteurs: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su

cs.AI

Samenvatting

Long-tailed learning heeft steeds meer aandacht gekregen vanwege de brede toepasbaarheid in real-world scenario's. Onder de bestaande benaderingen is Long-Tailed Semi-Supervised Learning (LTSSL) naar voren gekomen als een effectieve oplossing door een grote hoeveelheid ongelabelde gegevens te integreren in de onbalans van het gelabelde dataset. De meeste eerdere LTSSL-methoden zijn echter ontworpen om modellen vanaf nul te trainen, wat vaak leidt tot problemen zoals overmatig vertrouwen en pseudo-labels van lage kwaliteit. Om deze uitdagingen aan te pakken, breiden we LTSSL uit naar het fine-tuning paradigma van foundation modellen en introduceren we een nieuw framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We tonen aan dat fine-tuned foundation modellen betrouwbaardere pseudo-labels kunnen genereren, wat ten goede komt aan onbalans leren. Bovendien verkennen we een praktischer instelling door semi-supervised learning te onderzoeken onder open-world omstandigheden, waarbij de ongelabelde gegevens out-of-distribution (OOD) monsters kunnen bevatten. Om dit probleem aan te pakken, stellen we LoFT-OW (LoFT onder Open-World scenario's) voor om het onderscheidend vermogen te verbeteren. Experimentele resultaten op meerdere benchmarks tonen aan dat onze methode superieure prestaties bereikt in vergelijking met eerdere benaderingen, zelfs wanneer slechts 1\% van de ongelabelde gegevens wordt gebruikt in vergelijking met eerdere werken.

English

Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.