RAGU: 소형 도메인 적응형 LLM을 활용한 다단계 그래프RAG 엔진

초록

그래프 검색 증강 생성(GraphRAG)은 대규모 언어 모델에 구조화된 지식을 더해 성능을 높이지만, 기존 시스템은 단일 추출 패스로 지식 그래프를 구축하여 잡음이 많은 엔티티와 취약한 검색을 초래합니다. RAGU는 오픈소스 모듈형 GraphRAG 엔진으로, 추출과 통합을 분리하여 이 문제를 해결합니다. 엔티티와 관계는 두 단계의 유형화된 추출, DBSCAN 기반 중복 제거, LLM 요약, Leiden 커뮤니티 탐지를 거칩니다. 핵심 통찰은 소형 추출기를 뒷받침합니다. 파이프라인 내 LLM에 필요한 역량(이해, 추출, 맥락 추론)은 언어 능력으로, 사실적 세계 지식과 달리 모델 크기에 따라 약하게만 증가합니다. 이에 따라 Meno-Lite-0.1을 학습시켰습니다. 이는 언어 능력에 최적화된 7B 모델로, 지식 그래프 구축에서 Qwen2.5-32B를 능가하고(+12.5% 상대 조화 평균), 영어 GraphRAG 작업에서는 동등한 성능을 보입니다. GraphRAG-Bench(의료)에서 RAGU는 모든 사실 수준에서 가장 완전한 맥락을 검색하며(증거 재현율 최대 0.84 vs. ≤0.76), 합성 작업에서 HippoRAG2를 추월합니다. 다중 홉 사실 기반 QA에서 HippoRAG2의 우위는 대체로 답변 형식의 인공물로 밝혀졌습니다. RAGU는 `pip install graph_ragu`로 설치 가능하며, 단일 GPU에서 실행되고, MIT 라이선스로 배포됩니다. 소스 코드는 https://github.com/RaguTeam/RAGU 에 공개되어 있으며, Meno-Lite-0.1 모델은 https://huggingface.co/bond005/meno-lite-0.1 에서 얻을 수 있습니다.

English

Graph retrieval-augmented generation (GraphRAG) enhances large language models with structured knowledge, yet existing systems construct knowledge graphs in a single extraction pass, producing noisy entities and brittle retrieval. RAGU, an open-source modular GraphRAG engine, addresses this by separating extraction from consolidation: entities and relations pass through two-stage typed extraction, DBSCAN-backed deduplication, LLM summarization, and Leiden community detection. A key insight motivates a compact extractor: the skills an in-pipeline LLM needs - comprehension, extraction, reasoning over context - are language skills that grow only weakly with model size, unlike factual world knowledge. Accordingly, we train Meno-Lite-0.1, a 7B model optimized for language skills, which outperforms Qwen2.5-32B on knowledge-graph construction (+12.5% relative harmonic mean) and matches it on English GraphRAG tasks. On GraphRAG-Bench (Medical), RAGU retrieves the most complete context at every factoid level (evidence recall up to 0.84 vs. leq0.76) and overtakes HippoRAG2 on synthesis tasks; on multi-hop factoid QA, the apparent HippoRAG2 advantage is shown to be largely an answer-format artifact. RAGU is installable via pip install graph_ragu, runs on a single GPU, and is released under MIT. The source code is publicly available at https://github.com/RaguTeam/RAGU, and the Meno-Lite-0.1 model can be obtained from https://huggingface.co/bond005/meno-lite-0.1.

RAGU: 소형 도메인 적응형 LLM을 활용한 다단계 그래프RAG 엔진

RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM

초록

Support