GLiClass: Универсальная легковесная модель для задач классификации последовательностей

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

August 11, 2025

Авторы: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov, Alexander Yavorskyi, Mykyta Yaroshenko

cs.AI

Аннотация

Классификация является одной из наиболее распространённых задач в приложениях искусственного интеллекта, часто выступая в качестве первого этапа фильтрации, сортировки и категоризации данных. Поскольку современные системы ИИ должны обрабатывать большие объёмы входных данных, а ошибки на ранних этапах конвейера могут распространяться на последующие, достижение высокой эффективности и точности становится критически важным. Более того, требования к классификации могут динамически изменяться в зависимости от потребностей пользователей, что требует моделей с мощными возможностями zero-shot обучения. Хотя генеративные большие языковые модели (LLM) стали основным инструментом для zero-shot классификации благодаря своей универсальности, они страдают от несогласованности в выполнении инструкций и низкой вычислительной эффективности. Кросс-энкодеры, часто используемые в качестве реранкеров в конвейерах RAG, сталкиваются с другой проблемой: они должны последовательно обрабатывать пары текст-метка, что значительно снижает эффективность при работе с большими наборами меток. Подходы на основе эмбеддингов обеспечивают хорошую эффективность, но испытывают трудности в сложных сценариях, связанных с логическими и семантическими ограничениями. Мы предлагаем GLiClass, новый метод, адаптирующий архитектуру GLiNER для задач классификации последовательностей. Наш подход демонстрирует высокую точность и эффективность, сопоставимые с методами на основе эмбеддингов, сохраняя при этом гибкость, необходимую для zero-shot и few-shot сценариев обучения. Кроме того, мы адаптировали оптимизацию проксимальной политики (PPO) для многометочной классификации текста, что позволяет обучать классификаторы в условиях недостатка данных или на основе обратной связи от пользователей.

English

Classification is one of the most widespread tasks in AI applications, serving often as the first step in filtering, sorting, and categorizing data. Since modern AI systems must handle large volumes of input data and early pipeline stages can propagate errors downstream, achieving high efficiency and accuracy is critical. Moreover, classification requirements can change dynamically based on user needs, necessitating models with strong zero-shot capabilities. While generative LLMs have become mainstream for zero-shot classification due to their versatility, they suffer from inconsistent instruction following and computational inefficiency. Cross-encoders, commonly used as rerankers in RAG pipelines, face a different bottleneck: they must process text-label pairs sequentially, significantly reducing efficiency with large label sets. Embedding-based approaches offer good efficiency but struggle with complex scenarios involving logical and semantic constraints. We propose GLiClass, a novel method that adapts the GLiNER architecture for sequence classification tasks. Our approach achieves strong accuracy and efficiency comparable to embedding-based methods, while maintaining the flexibility needed for zero-shot and few-shot learning scenarios. Additionally, we adapted proximal policy optimization (PPO) for multi-label text classification, enabling training classifiers in data-sparse conditions or from human feedback.