Даже небольшие модели рассуждений должны указывать свои источники: представление семейства моделей Pleias-RAG

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Авторы: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Аннотация

Мы представляем новое поколение компактных моделей для рассуждений, предназначенных для RAG, поиска и обобщения источников. Модели Pleias-RAG-350m и Pleias-RAG-1B прошли промежуточное обучение на большом синтетическом наборе данных, имитирующем извлечение информации из разнообразных многоязычных открытых источников из Common Corpus. Они обеспечивают встроенную поддержку цитирования и привязки к источникам с использованием прямых цитат, а также интегрируют множество функций, связанных с рабочими процессами RAG, таких как маршрутизация запросов, реформулировка запросов и переранжирование источников. Pleias-RAG-350m и Pleias-RAG-1B превосходят модели с менее чем 4 миллиардами параметров на стандартных бенчмарках RAG (HotPotQA, 2wiki) и конкурируют с популярными более крупными моделями, включая Qwen-2.5-7B, Llama-3.1-8B и Gemma-3-4B. На сегодняшний день это единственные компактные модели, которые демонстрируют стабильную производительность RAG для ведущих европейских языков и обеспечивают систематическую привязку утверждений к источникам. Благодаря своему размеру, простоте развертывания на ограниченной инфраструктуре и повышенной точности по замыслу, эти модели открывают новые возможности для использования генеративного ИИ.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.