Mesmo Pequenos Raciocinadores Devem Citar Suas Fontes: Apresentando a Família de Modelos Pleias-RAG

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Autores: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Resumo

Apresentamos uma nova geração de modelos de raciocínio compactos para RAG, busca e sumarização de fontes. Pleias-RAG-350m e Pleias-RAG-1B são pré-treinados em um grande conjunto de dados sintéticos que emula a recuperação de uma ampla variedade de fontes abertas multilíngues do Common Corpus. Eles oferecem suporte nativo para citação e fundamentação com citações literais e reintegram múltiplas funcionalidades associadas a fluxos de trabalho RAG, como roteamento de consultas, reformulação de consultas e reclassificação de fontes. Pleias-RAG-350m e Pleias-RAG-1B superam modelos de linguagem pequenos (SLMs) com menos de 4 bilhões de parâmetros em benchmarks RAG padronizados (HotPotQA, 2wiki) e são competitivos com modelos maiores populares, incluindo Qwen-2.5-7B, Llama-3.1-8B e Gemma-3-4B. Eles são os únicos SLMs até o momento que mantêm um desempenho RAG consistente em línguas europeias líderes e garantem a fundamentação sistemática de referências para declarações. Devido ao seu tamanho e facilidade de implantação em infraestruturas limitadas, além de maior factualidade por design, esses modelos desbloqueiam uma variedade de novos casos de uso para IA generativa.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.