GLiClass: Allgemeines leichtgewichtiges Modell für Sequenzklassifizierungsaufgaben

papers.abstract

Die Klassifizierung ist eine der am weitesten verbreiteten Aufgaben in KI-Anwendungen und dient häufig als erster Schritt bei der Filterung, Sortierung und Kategorisierung von Daten. Da moderne KI-Systeme große Mengen an Eingabedaten verarbeiten müssen und Fehler in frühen Pipeline-Stufen sich nachteilig auf nachfolgende Schritte auswirken können, ist das Erreichen hoher Effizienz und Genauigkeit entscheidend. Darüber hinaus können sich die Anforderungen an die Klassifizierung dynamisch basierend auf den Benutzerbedürfnissen ändern, was Modelle mit starken Zero-Shot-Fähigkeiten erfordert. Während generative LLMs aufgrund ihrer Vielseitigkeit zum Mainstream für die Zero-Shot-Klassifizierung geworden sind, leiden sie unter inkonsistentem Befolgen von Anweisungen und rechnerischer Ineffizienz. Cross-Encoder, die häufig als Reranker in RAG-Pipelines eingesetzt werden, stehen vor einem anderen Engpass: Sie müssen Text-Label-Paare sequenziell verarbeiten, was die Effizienz bei großen Labelmengen erheblich reduziert. Embedding-basierte Ansätze bieten eine gute Effizienz, haben jedoch Schwierigkeiten mit komplexen Szenarien, die logische und semantische Einschränkungen beinhalten. Wir stellen GLiClass vor, eine neuartige Methode, die die GLiNER-Architektur für Sequenzklassifizierungsaufgaben anpasst. Unser Ansatz erreicht eine hohe Genauigkeit und Effizienz, die mit embedding-basierten Methoden vergleichbar ist, und behält gleichzeitig die Flexibilität bei, die für Zero-Shot- und Few-Shot-Lernszenarien erforderlich ist. Zusätzlich haben wir das Proximale Policy Optimization (PPO) für die Multi-Label-Textklassifizierung adaptiert, wodurch das Training von Klassifikatoren unter datenarmen Bedingungen oder basierend auf menschlichem Feedback ermöglicht wird.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.

GLiClass: Allgemeines leichtgewichtiges Modell für Sequenzklassifizierungsaufgaben

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

papers.abstract

Support