Knowledge Navigator: LLM-gestuurd Browsing Framework voor Exploratief Zoeken in Wetenschappelijke Literatuur

Knowledge Navigator: LLM-guided Browsing Framework for Exploratory Search in Scientific Literature

August 28, 2024

Auteurs: Uri Katz, Mosh Levy, Yoav Goldberg

cs.AI

Samenvatting

De exponentiële groei van wetenschappelijke literatuur vereist geavanceerde tools voor effectieve kennisverkenning. Wij presenteren Knowledge Navigator, een systeem ontworpen om verkennende zoekmogelijkheden te verbeteren door de opgehaalde documenten van brede thematische zoekopdrachten te organiseren en structureren in een navigeerbare, tweelaagse hiërarchie van benoemde en beschrijvende wetenschappelijke onderwerpen en subonderwerpen. Deze gestructureerde organisatie biedt een overzicht van de onderzoeksonderwerpen in een domein, terwijl het ook iteratief zoeken en diepere kennisontdekking binnen specifieke subonderwerpen mogelijk maakt door gebruikers in staat te stellen hun focus te verfijnen en aanvullende relevante documenten op te halen. Knowledge Navigator combineert de mogelijkheden van LLM's met clustergebaseerde methoden om een effectieve blader-methode te bieden. Wij demonstreren de effectiviteit van onze aanpak door automatische en handmatige evaluaties op twee nieuwe benchmarks, CLUSTREC-COVID en SCITOC. Onze code, prompts en benchmarks zijn publiekelijk beschikbaar gemaakt.

English

The exponential growth of scientific literature necessitates advanced tools for effective knowledge exploration. We present Knowledge Navigator, a system designed to enhance exploratory search abilities by organizing and structuring the retrieved documents from broad topical queries into a navigable, two-level hierarchy of named and descriptive scientific topics and subtopics. This structured organization provides an overall view of the research themes in a domain, while also enabling iterative search and deeper knowledge discovery within specific subtopics by allowing users to refine their focus and retrieve additional relevant documents. Knowledge Navigator combines LLM capabilities with cluster-based methods to enable an effective browsing method. We demonstrate our approach's effectiveness through automatic and manual evaluations on two novel benchmarks, CLUSTREC-COVID and SCITOC. Our code, prompts, and benchmarks are made publicly available.