De Comandos a Sugestões: Sistema de Arquivos Semântico Baseado em LLM para AIOS

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Autores: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) têm demonstrado um potencial significativo no desenvolvimento de aplicações inteligentes e sistemas como agentes baseados em LLM e sistemas operacionais de agentes (AIOS). No entanto, quando essas aplicações e sistemas interagem com o sistema de arquivos subjacente, o sistema de arquivos ainda permanece no paradigma tradicional: dependente da navegação manual por meio de comandos precisos. Esse paradigma representa um gargalo para a usabilidade desses sistemas, uma vez que os usuários precisam navegar por hierarquias de pastas complexas e lembrar nomes de arquivos crípticos. Para lidar com essa limitação, propomos um sistema de arquivos semântico baseado em LLM (LSFS) para gerenciamento de arquivos orientado por comandos. Ao contrário das abordagens convencionais, o LSFS incorpora LLMs para permitir que usuários ou agentes interajam com arquivos por meio de comandos em linguagem natural, facilitando o gerenciamento semântico de arquivos. No nível macro, desenvolvemos um conjunto abrangente de APIs para alcançar funcionalidades de gerenciamento de arquivos semânticos, como recuperação semântica de arquivos, monitoramento e sumarização de atualizações de arquivos e reversão semântica de arquivos. No nível micro, armazenamos arquivos construindo índices semânticos para eles, projetamos e implementamos chamadas de sistema de diferentes operações semânticas (por exemplo, CRUD, agrupar por, unir) alimentadas por um banco de dados vetorial. Nossos experimentos mostram que o LSFS oferece melhorias significativas em relação aos sistemas de arquivos tradicionais em termos de conveniência do usuário, diversidade de funções suportadas e precisão e eficiência das operações de arquivo. Além disso, com a integração de LLM, nosso sistema possibilita tarefas de gerenciamento de arquivos mais inteligentes, como sumarização de conteúdo e comparação de versões, aprimorando ainda mais suas capacidades.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.