De la commande aux invitations : Système de fichiers sémantique basé sur LLM pour AIOS

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Auteurs: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré un potentiel significatif dans le développement d'applications et de systèmes intelligents tels que des agents basés sur des LLM et des systèmes d'exploitation d'agents (AIOS). Cependant, lorsque ces applications et systèmes interagissent avec le système de fichiers sous-jacent, le système de fichiers reste encore ancré dans le paradigme traditionnel : dépendant de la navigation manuelle à travers des commandes précises. Ce paradigme pose un goulot d'étranglement à l'utilisabilité de ces systèmes car les utilisateurs doivent naviguer dans des hiérarchies de dossiers complexes et se souvenir de noms de fichiers cryptiques. Pour remédier à cette limitation, nous proposons un système de fichiers sémantique basé sur des LLM (LSFS) pour la gestion de fichiers pilotée par des invites. Contrairement aux approches conventionnelles, LSFS intègre des LLM pour permettre aux utilisateurs ou aux agents d'interagir avec les fichiers via des invites en langage naturel, facilitant la gestion sémantique des fichiers. Au niveau macro, nous développons un ensemble complet d'API pour atteindre des fonctionnalités de gestion de fichiers sémantiques, telles que la récupération sémantique de fichiers, la surveillance et la synthèse de mises à jour de fichiers, et le retour en arrière sémantique de fichiers. Au niveau micro, nous stockons les fichiers en construisant des index sémantiques pour eux, concevons et mettons en œuvre des appels système pour différentes opérations sémantiques (par exemple, CRUD, regroupement, jointure) alimentés par une base de données vectorielle. Nos expériences montrent que LSFS offre des améliorations significatives par rapport aux systèmes de fichiers traditionnels en termes de commodité pour l'utilisateur, de diversité des fonctions prises en charge, ainsi que de précision et d'efficacité des opérations de fichiers. De plus, avec l'intégration de LLM, notre système permet des tâches de gestion de fichiers plus intelligentes, telles que la synthèse de contenu et la comparaison de versions, renforçant davantage ses capacités.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.