Von Befehlen zu Aufforderungen: LLM-basiertes semantisches Dateisystem für KI-Betriebssysteme

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Autoren: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben ein signifikantes Potenzial in der Entwicklung intelligenter Anwendungen und Systeme wie LLM-basierte Agenten und Agenten-Betriebssysteme (AIOS) gezeigt. Wenn diese Anwendungen und Systeme jedoch mit dem zugrunde liegenden Dateisystem interagieren, bleibt das Dateisystem immer noch im traditionellen Paradigma verankert: abhängig von manueller Navigation durch präzise Befehle. Dieses Paradigma stellt eine Engstelle für die Benutzerfreundlichkeit dieser Systeme dar, da Benutzer komplexe Ordnerhierarchien durchsuchen und kryptische Dateinamen merken müssen. Um diese Einschränkung zu überwinden, schlagen wir ein auf LLM basierendes semantisches Dateisystem (LSFS) für promptgesteuertes Dateimanagement vor. Im Gegensatz zu herkömmlichen Ansätzen integriert LSFS LLMs, um Benutzern oder Agenten die Interaktion mit Dateien über natürliche Sprachbefehle zu ermöglichen und so semantisches Dateimanagement zu erleichtern. Auf Makroebene entwickeln wir einen umfassenden API-Satz, um semantische Dateimanagementfunktionen zu erreichen, wie semantische Dateiwiederherstellung, Dateiaktualisierungsüberwachung und -zusammenfassung sowie semantischer Dateirücknahme. Auf Mikroebene speichern wir Dateien, indem wir semantische Indizes für sie erstellen, Syscalls für verschiedene semantische Operationen (z. B. CRUD, Gruppierung, Verknüpfung) entwerfen und implementieren, unterstützt durch eine Vektordatenbank. Unsere Experimente zeigen, dass LSFS signifikante Verbesserungen gegenüber traditionellen Dateisystemen in Bezug auf Benutzerfreundlichkeit, die Vielfalt der unterstützten Funktionen sowie die Genauigkeit und Effizienz von Dateioperationen bietet. Darüber hinaus ermöglicht unser System mit der Integration von LLM intelligentere Dateimanagementaufgaben wie Inhaltszusammenfassung und Versionsvergleich, was seine Fähigkeiten weiter verbessert.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.