GLiClass: Modelo Ligero Generalista para Tareas de Clasificación de Secuencias

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

August 11, 2025

Autores: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov, Alexander Yavorskyi, Mykyta Yaroshenko

cs.AI

Resumen

La clasificación es una de las tareas más extendidas en las aplicaciones de IA, sirviendo frecuentemente como el primer paso en el filtrado, ordenamiento y categorización de datos. Dado que los sistemas modernos de IA deben manejar grandes volúmenes de datos de entrada y las etapas iniciales del procesamiento pueden propagar errores hacia adelante, lograr una alta eficiencia y precisión es fundamental. Además, los requisitos de clasificación pueden cambiar dinámicamente según las necesidades del usuario, lo que exige modelos con fuertes capacidades de zero-shot. Si bien los modelos de lenguaje generativo (LLM) se han convertido en la corriente principal para la clasificación zero-shot debido a su versatilidad, presentan inconsistencias en el seguimiento de instrucciones e ineficiencias computacionales. Los cross-encoders, comúnmente utilizados como rerankers en los pipelines de RAG, enfrentan un cuello de botella diferente: deben procesar pares de texto-etiqueta de manera secuencial, lo que reduce significativamente la eficiencia con grandes conjuntos de etiquetas. Los enfoques basados en embeddings ofrecen buena eficiencia, pero luchan con escenarios complejos que involucran restricciones lógicas y semánticas. Proponemos GLiClass, un método novedoso que adapta la arquitectura GLiNER para tareas de clasificación de secuencias. Nuestro enfoque logra una precisión y eficiencia comparables a los métodos basados en embeddings, manteniendo la flexibilidad necesaria para escenarios de aprendizaje zero-shot y few-shot. Además, adaptamos la optimización de políticas proximales (PPO) para la clasificación de texto multi-etiqueta, permitiendo entrenar clasificadores en condiciones de datos escasos o a partir de retroalimentación humana.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.