LoFT: Ajuste Fino Eficiente em Parâmetros para Aprendizado Semi-Supervisionado com Distribuição de Cauda Longa em Cenários de Mundo Aberto

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

September 12, 2025

Autores: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su

cs.AI

Resumo

O aprendizado de cauda longa tem recebido crescente atenção devido à sua ampla aplicabilidade em cenários do mundo real. Entre as abordagens existentes, o Aprendizado Semi-Supervisionado de Cauda Longa (LTSSL, na sigla em inglês) emergiu como uma solução eficaz ao incorporar uma grande quantidade de dados não rotulados em conjuntos de dados rotulados desbalanceados. No entanto, a maioria dos métodos anteriores de LTSSL foi projetada para treinar modelos do zero, o que frequentemente leva a problemas como excesso de confiança e pseudo-rótulos de baixa qualidade. Para enfrentar esses desafios, estendemos o LTSSL para o paradigma de ajuste fino de modelos de base e propomos uma nova estrutura: LoFT (Aprendizado Semi-Supervisionado de Cauda Longa via Ajuste Fino Eficiente em Parâmetros). Demonstramos que modelos de base ajustados podem gerar pseudo-rótulos mais confiáveis, beneficiando assim o aprendizado desbalanceado. Além disso, exploramos um cenário mais prático ao investigar o aprendizado semi-supervisionado em condições de mundo aberto, onde os dados não rotulados podem incluir amostras fora da distribuição (OOD, na sigla em inglês). Para lidar com esse problema, propomos o LoFT-OW (LoFT em Cenários de Mundo Aberto) para melhorar a capacidade discriminativa. Resultados experimentais em múltiplos benchmarks demonstram que nosso método alcança desempenho superior em comparação com abordagens anteriores, mesmo utilizando apenas 1% dos dados não rotulados em relação aos trabalhos prévios.

English

Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.