아주 작은 추론기도 출처를 인용해야 한다: Pleias-RAG 모델 패밀리 소개

초록

RAG, 검색, 소스 요약을 위한 새로운 세대의 소형 추론 모델을 소개합니다. Pleias-RAG-350m과 Pleias-RAG-1B는 Common Corpus의 다양한 다국어 오픈 소스 검색을 모방한 대규모 합성 데이터셋에서 중간 학습을 거쳤습니다. 이 모델들은 인용 및 문자 그대로의 인용문을 통한 근거 제시를 기본적으로 지원하며, 쿼리 라우팅, 쿼리 재구성, 소스 재순위 지정 등 RAG 워크플로우와 관련된 여러 기능을 통합합니다. Pleias-RAG-350m과 Pleias-RAG-1B는 표준화된 RAG 벤치마크(HotPotQA, 2wiki)에서 40억 파라미터 미만의 소형 언어 모델(SLM)을 능가하며, Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B와 같은 대형 모델과도 경쟁력을 보입니다. 이들은 주요 유럽 언어에서 일관된 RAG 성능을 유지하고, 주장에 대한 체계적인 참조 근거를 보장하는 유일한 SLM입니다. 이 모델들은 크기가 작고 제한된 인프라에서의 배포가 용이하며, 설계상 높은 사실성을 갖추고 있어 생성형 AI의 새로운 사용 사례를 열어줍니다.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.

아주 작은 추론기도 출처를 인용해야 한다: Pleias-RAG 모델 패밀리 소개

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

초록

Summary

Support

Support