Incluso los razonadores pequeños deben citar sus fuentes: Presentación de la familia de modelos Pleias-RAG

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Autores: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Resumen

Presentamos una nueva generación de modelos de razonamiento pequeños para RAG, búsqueda y resumen de fuentes. Pleias-RAG-350m y Pleias-RAG-1B están entrenados de manera intermedia en un gran conjunto de datos sintéticos que emula la recuperación de una amplia variedad de fuentes abiertas multilingües del Common Corpus. Ofrecen soporte nativo para citas y fundamentación con citas literales, e integran múltiples características asociadas con flujos de trabajo RAG, como enrutamiento de consultas, reformulación de consultas y reordenamiento de fuentes. Pleias-RAG-350m y Pleias-RAG-1B superan a los modelos de lenguaje pequeños (SLM) con menos de 4 mil millones de parámetros en benchmarks estandarizados de RAG (HotPotQA, 2wiki) y son competitivos con modelos más grandes populares, como Qwen-2.5-7B, Llama-3.1-8B y Gemma-3-4B. Hasta la fecha, son los únicos SLM que mantienen un rendimiento consistente en RAG en los principales idiomas europeos y aseguran una fundamentación sistemática de referencias para las afirmaciones. Debido a su tamaño y facilidad de despliegue en infraestructuras limitadas, junto con una mayor factualidad por diseño, estos modelos abren un abanico de nuevos casos de uso para la IA generativa.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.