GLiClass: Modello Generalista Leggero per Compiti di Classificazione di Sequenze

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

August 11, 2025

Autori: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov, Alexander Yavorskyi, Mykyta Yaroshenko

cs.AI

Abstract

La classificazione è uno dei compiti più diffusi nelle applicazioni di intelligenza artificiale, spesso utilizzato come primo passaggio per filtrare, ordinare e categorizzare i dati. Poiché i moderni sistemi di IA devono gestire grandi volumi di dati in ingresso e le fasi iniziali della pipeline possono propagare errori a valle, raggiungere un'elevata efficienza e accuratezza è fondamentale. Inoltre, i requisiti di classificazione possono cambiare dinamicamente in base alle esigenze degli utenti, rendendo necessari modelli con forti capacità zero-shot. Sebbene i modelli linguistici generativi (LLM) siano diventati mainstream per la classificazione zero-shot grazie alla loro versatilità, soffrono di un'adesione incoerente alle istruzioni e di inefficienza computazionale. I cross-encoder, comunemente utilizzati come riordinatori nelle pipeline RAG, affrontano un collo di bottiglia diverso: devono elaborare coppie testo-etichetta in sequenza, riducendo significativamente l'efficienza con grandi insiemi di etichette. Gli approcci basati su embedding offrono una buona efficienza ma faticano in scenari complessi che coinvolgono vincoli logici e semantici. Proponiamo GLiClass, un metodo innovativo che adatta l'architettura GLiNER per compiti di classificazione di sequenze. Il nostro approccio raggiunge un'accuratezza e un'efficienza paragonabili ai metodi basati su embedding, mantenendo la flessibilità necessaria per scenari di apprendimento zero-shot e few-shot. Inoltre, abbiamo adattato l'ottimizzazione delle politiche prossimali (PPO) per la classificazione multi-etichetta di testi, consentendo l'addestramento di classificatori in condizioni di dati scarsi o a partire da feedback umano.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.