GLiClass: Modelo Leve Generalista para Tarefas de Classificação de Sequências

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

August 11, 2025

Autores: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov, Alexander Yavorskyi, Mykyta Yaroshenko

cs.AI

Resumo

A classificação é uma das tarefas mais difundidas em aplicações de IA, servindo frequentemente como o primeiro passo na filtragem, ordenação e categorização de dados. Como os sistemas modernos de IA precisam lidar com grandes volumes de dados de entrada e estágios iniciais do pipeline podem propagar erros para etapas subsequentes, alcançar alta eficiência e precisão é crucial. Além disso, os requisitos de classificação podem mudar dinamicamente com base nas necessidades do usuário, exigindo modelos com fortes capacidades zero-shot. Embora os LLMs generativos tenham se tornado predominantes para classificação zero-shot devido à sua versatilidade, eles sofrem com inconsistências no seguimento de instruções e ineficiência computacional. Os cross-encoders, comumente usados como rerankers em pipelines de RAG, enfrentam um gargalo diferente: eles precisam processar pares texto-rótulo sequencialmente, reduzindo significativamente a eficiência com grandes conjuntos de rótulos. Abordagens baseadas em embeddings oferecem boa eficiência, mas lutam com cenários complexos envolvendo restrições lógicas e semânticas. Propomos o GLiClass, um método novo que adapta a arquitetura GLiNER para tarefas de classificação de sequências. Nossa abordagem alcança alta precisão e eficiência comparáveis a métodos baseados em embeddings, mantendo a flexibilidade necessária para cenários de aprendizado zero-shot e few-shot. Adicionalmente, adaptamos a otimização de política proximal (PPO) para classificação de texto multi-rótulo, permitindo o treinamento de classificadores em condições de dados escassos ou a partir de feedback humano.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.