GLiClass : Modèle Léger Généraliste pour les Tâches de Classification de Séquences

papers.abstract

La classification est l'une des tâches les plus répandues dans les applications d'IA, servant souvent d'étape initiale pour filtrer, trier et catégoriser les données. Étant donné que les systèmes d'IA modernes doivent gérer de grands volumes de données d'entrée et que les premières étapes du pipeline peuvent propager des erreurs en aval, il est crucial d'atteindre une efficacité et une précision élevées. De plus, les exigences de classification peuvent évoluer dynamiquement en fonction des besoins des utilisateurs, nécessitant des modèles dotés de solides capacités zero-shot. Bien que les modèles de langage génératifs (LLM) soient devenus la norme pour la classification zero-shot en raison de leur polyvalence, ils souffrent d'une incohérence dans le suivi des instructions et d'une inefficacité computationnelle. Les cross-encodeurs, couramment utilisés comme réorganisateurs dans les pipelines RAG, font face à un autre goulot d'étranglement : ils doivent traiter les paires texte-étiquette de manière séquentielle, ce qui réduit considérablement l'efficacité avec de grands ensembles d'étiquettes. Les approches basées sur les embeddings offrent une bonne efficacité mais peinent à gérer des scénarios complexes impliquant des contraintes logiques et sémantiques. Nous proposons GLiClass, une nouvelle méthode qui adapte l'architecture GLiNER pour les tâches de classification de séquences. Notre approche atteint une précision et une efficacité comparables aux méthodes basées sur les embeddings, tout en conservant la flexibilité nécessaire pour les scénarios d'apprentissage zero-shot et few-shot. De plus, nous avons adapté l'optimisation de politique proximale (PPO) pour la classification de texte multi-étiquettes, permettant ainsi d'entraîner des classificateurs dans des conditions de données limitées ou à partir de retours humains.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.

GLiClass : Modèle Léger Généraliste pour les Tâches de Classification de Séquences

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

papers.abstract

Support