LoFT: Ajuste fino eficiente en parámetros para aprendizaje semi-supervisado con distribución de cola larga en escenarios de mundo abierto

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

September 12, 2025

Autores: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su

cs.AI

Resumen

El aprendizaje de cola larga ha captado una atención creciente debido a su amplia aplicabilidad en escenarios del mundo real. Entre los enfoques existentes, el Aprendizaje Semi-Supervisado de Cola Larga (LTSSL, por sus siglas en inglés) ha surgido como una solución efectiva al incorporar una gran cantidad de datos no etiquetados en conjuntos de datos etiquetados desequilibrados. Sin embargo, la mayoría de los métodos LTSSL anteriores están diseñados para entrenar modelos desde cero, lo que a menudo conduce a problemas como sobreconfianza y pseudoetiquetas de baja calidad. Para abordar estos desafíos, extendemos LTSSL al paradigma de ajuste fino de modelos base y proponemos un marco novedoso: LoFT (Aprendizaje Semi-Supervisado de Cola Larga mediante Ajuste Fino Eficiente en Parámetros). Demostramos que los modelos base ajustados pueden generar pseudoetiquetas más confiables, beneficiando así el aprendizaje desequilibrado. Además, exploramos un escenario más práctico al investigar el aprendizaje semi-supervisado en condiciones de mundo abierto, donde los datos no etiquetados pueden incluir muestras fuera de distribución (OOD, por sus siglas en inglés). Para manejar este problema, proponemos LoFT-OW (LoFT en Escenarios de Mundo Abierto) para mejorar la capacidad discriminativa. Los resultados experimentales en múltiples benchmarks demuestran que nuestro método logra un rendimiento superior en comparación con enfoques anteriores, incluso cuando se utiliza solo el 1\% de los datos no etiquetados en comparación con trabajos previos.

English

Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.