Dai Comandi agli Input: Sistema di File Semantico basato su LLM per AIOS

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Autori: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un significativo potenziale nello sviluppo di applicazioni intelligenti e sistemi come agenti basati su LLM e sistemi operativi per agenti (AIOS). Tuttavia, quando queste applicazioni e sistemi interagiscono con il sistema di file sottostante, il sistema di file rimane ancora il paradigma tradizionale: dipendente dalla navigazione manuale attraverso comandi precisi. Questo paradigma rappresenta un collo di bottiglia per l'usabilità di questi sistemi poiché gli utenti devono navigare in gerarchie di cartelle complesse e ricordare nomi di file criptici. Per affrontare questa limitazione, proponiamo un sistema di file semantico basato su LLM (LSFS) per la gestione dei file guidata da prompt. A differenza degli approcci convenzionali, LSFS incorpora LLM per consentire agli utenti o agli agenti di interagire con i file attraverso prompt in linguaggio naturale, facilitando la gestione semantica dei file. A livello macroscopico, sviluppiamo un set completo di API per raggiungere funzionalità di gestione semantica dei file, come il recupero semantico dei file, il monitoraggio e la sintesi dell'aggiornamento dei file e il ripristino semantico dei file. A livello microscopico, archiviamo i file costruendo indici semantici per essi, progettiamo e implementiamo chiamate di sistema di diverse operazioni semantiche (ad esempio, CRUD, raggruppamento, join) alimentate da un database vettoriale. I nostri esperimenti mostrano che LSFS offre significativi miglioramenti rispetto ai tradizionali sistemi di file in termini di comodità per l'utente, la diversità delle funzioni supportate e l'accuratezza e l'efficienza delle operazioni sui file. Inoltre, con l'integrazione di LLM, il nostro sistema consente compiti di gestione dei file più intelligenti, come la sintesi dei contenuti e il confronto delle versioni, potenziando ulteriormente le sue capacità.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.