コマンドからプロンプトへ：AIOS向けLLMベースの意味論ファイルシステム

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

著者: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

要旨

大規模言語モデル（LLM）は、LLMベースのエージェントやエージェントオペレーティングシステム（AIOS）などの知能アプリケーションやシステムの開発において、重要な潜在能力を示しています。ただし、これらのアプリケーションやシステムが基礎となるファイルシステムとやり取りする際には、ファイルシステムは依然として従来のパラダイムであり、正確なコマンドを手動でナビゲートすることに依存しています。このパラダイムは、ユーザーが複雑なフォルダ階層をナビゲートし、難解なファイル名を覚える必要があるため、これらのシステムの利用性にボトルネックを引き起こします。この制限に対処するために、私たちはプロンプト駆動のファイル管理のためのLLMベースの意味論的ファイルシステム（LSFS）を提案しています。従来のアプローチとは異なり、LSFSはLLMを組み込んで、ユーザーやエージェントが自然言語のプロンプトを介してファイルとやり取りできるようにし、意味論的ファイル管理を容易にします。マクロレベルでは、意味論的ファイルの取得、ファイルの更新監視と要約、意味論的ファイルのロールバックなどの機能を実現する包括的なAPIセットを開発しています。マイクロレベルでは、ファイルを保存する際に、それらのための意味論的インデックスを構築し、ベクトルデータベースによって駆動される異なる意味論的操作（例：CRUD、グループ化、結合）のシスコールを設計・実装しています。私たちの実験は、LSFSが従来のファイルシステムに比べて、ユーザーの利便性、サポートされる機能の多様性、ファイル操作の正確性と効率性の面で著しい改善を提供していることを示しています。さらに、LLMの統合により、コンテンツの要約やバージョン比較などのより知的なファイル管理タスクが可能となり、その機能をさらに高めています。

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.