CoRAG: Kollaboratives abrufverstärktes Generieren

CoRAG: Collaborative Retrieval-Augmented Generation

April 2, 2025

Autoren: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Zusammenfassung

Retrieval-Augmented Generation (RAG)-Modelle zeichnen sich in wissensintensiven Aufgaben aus, insbesondere unter Few-Shot-Learning-Bedingungen. Wir stellen CoRAG vor, ein Framework, das RAG auf kollaborative Umgebungen erweitert, in denen Clients gemeinsam ein geteiltes Modell unter Verwendung eines kollaborativen Passagen-Speichers trainieren. Um CoRAG zu evaluieren, führen wir CRAB ein, einen Benchmark für kollaboratives homogenes Open-Domain Question Answering. Unsere Experimente zeigen, dass CoRAG in ressourcenarmen Szenarien sowohl parametrische kollaborative Lernmethoden als auch lokal trainierte RAG-Modelle durchweg übertrifft. Weitere Analysen verdeutlichen die entscheidende Bedeutung relevanter Passagen im gemeinsamen Speicher, die überraschenden Vorteile der Einbindung irrelevanter Passagen sowie das Potenzial von Hard Negatives, die Leistung negativ zu beeinflussen. Dies führt zu einer neuen Überlegung im kollaborativen RAG: den Abwägungen zwischen der Nutzung einer kollektiv angereicherten Wissensbasis und dem potenziellen Risiko der Einbindung schädlicher Passagen anderer Clients. Unsere Ergebnisse unterstreichen die Machbarkeit von CoRAG, heben aber auch zentrale Gestaltungsherausforderungen und vielversprechende Ansätze für zukünftige Forschung hervor.

English

Retrieval-Augmented Generation (RAG) models excel in knowledge-intensive tasks, especially under few-shot learning constraints. We introduce CoRAG, a framework extending RAG to collaborative settings, where clients jointly train a shared model using a collaborative passage store. To evaluate CoRAG, we introduce CRAB, a benchmark for collaborative homogeneous open-domain question answering. Our experiments demonstrate that CoRAG consistently outperforms both parametric collaborative learning methods and locally trained RAG models in low-resource scenarios. Further analysis reveals the critical importance of relevant passages within the shared store, the surprising benefits of incorporating irrelevant passages, and the potential for hard negatives to negatively impact performance. This introduces a novel consideration in collaborative RAG: the trade-off between leveraging a collectively enriched knowledge base and the potential risk of incorporating detrimental passages from other clients. Our findings underscore the viability of CoRAG, while also highlighting key design challenges and promising avenues for future research.