От команд к подсказкам: семантическая файловая система на основе LLM для AIOS.

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Авторы: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали значительный потенциал в разработке интеллектуальных приложений и систем, таких как агенты на основе LLM и операционные системы агентов (AIOS). Однако, когда эти приложения и системы взаимодействуют с базовой файловой системой, файловая система по-прежнему остается традиционной парадигмой: зависит от ручной навигации с помощью точных команд. Эта парадигма создает узкое место для использования этих систем, поскольку пользователям необходимо перемещаться по сложным иерархиям папок и запоминать криптографические имена файлов. Для преодоления этого ограничения мы предлагаем семантическую файловую систему на основе LLM (LSFS) для управления файлами посредством подсказок. В отличие от традиционных подходов, LSFS включает в себя LLM для возможности взаимодействия пользователей или агентов с файлами через естественноязыковые подсказки, облегчая семантическое управление файлами. На макро-уровне мы разрабатываем полный набор API для достижения функциональностей семантического управления файлами, таких как семантическое извлечение файлов, мониторинг и суммирование обновлений файлов, а также семантическое откатывание файлов. На микро-уровне мы храним файлы, создавая для них семантические индексы, разрабатываем и реализуем системные вызовы различных семантических операций (например, CRUD, группировка, объединение), работающие на основе векторной базы данных. Наши эксперименты показывают, что LSFS предлагает значительные улучшения по сравнению с традиционными файловыми системами в терминах удобства использования для пользователя, разнообразия поддерживаемых функций, а также точности и эффективности операций с файлами. Кроме того, благодаря интеграции LLM, наша система позволяет выполнять более интеллектуальные задачи управления файлами, такие как суммирование содержимого и сравнение версий, дополнительно расширяя ее возможности.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.