StructRAG: Versterking van Kennisintensieve Redenering van LLM's via Inferentie-tijd Hybride Informatie-Structurering

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

October 11, 2024

Auteurs: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li

cs.AI

Samenvatting

Retrieval-augmented generation (RAG) is een belangrijk middel om grote taalmodellen (LLM's) effectief te verbeteren in veel op kennis gebaseerde taken. Bestaande RAG-methoden worstelen echter met kennisintensieve redeneertaken, omdat de nuttige informatie die nodig is voor deze taken slecht verspreid is. Deze eigenschap maakt het moeilijk voor bestaande RAG-methoden om nauwkeurig de belangrijke informatie te identificeren en wereldwijd redeneren uit te voeren met een dergelijke lawaaierige aanvulling. In dit artikel, gemotiveerd door de cognitieve theorieën dat mensen ruwe informatie omzetten in verschillende gestructureerde kennis bij het aanpakken van kennisintensieve redeneertaken, stellen we een nieuw raamwerk voor, StructRAG, voor. Dit raamwerk kan het optimale structuurtype voor de betreffende taak identificeren, oorspronkelijke documenten reconstrueren naar dit gestructureerde formaat en antwoorden afleiden op basis van de resulterende structuur. Uitgebreide experimenten over verschillende kennisintensieve taken tonen aan dat StructRAG state-of-the-art prestaties behaalt, vooral uitblinkend in uitdagende scenario's, waarbij het zijn potentieel als een effectieve oplossing voor het verbeteren van LLM's in complexe real-world toepassingen aantoont.

English

Retrieval-augmented generation (RAG) is a key means to effectively enhance large language models (LLMs) in many knowledge-based tasks. However, existing RAG methods struggle with knowledge-intensive reasoning tasks, because useful information required to these tasks are badly scattered. This characteristic makes it difficult for existing RAG methods to accurately identify key information and perform global reasoning with such noisy augmentation. In this paper, motivated by the cognitive theories that humans convert raw information into various structured knowledge when tackling knowledge-intensive reasoning, we proposes a new framework, StructRAG, which can identify the optimal structure type for the task at hand, reconstruct original documents into this structured format, and infer answers based on the resulting structure. Extensive experiments across various knowledge-intensive tasks show that StructRAG achieves state-of-the-art performance, particularly excelling in challenging scenarios, demonstrating its potential as an effective solution for enhancing LLMs in complex real-world applications.