De Comandos a Indicaciones: Sistema de Archivos Semántico basado en LLM para AIOS

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Autores: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han demostrado un potencial significativo en el desarrollo de aplicaciones y sistemas inteligentes como agentes basados en LLM y sistemas operativos de agentes (AIOS). Sin embargo, cuando estas aplicaciones y sistemas interactúan con el sistema de archivos subyacente, el sistema de archivos sigue siendo el paradigma tradicional: dependiente de la navegación manual a través de comandos precisos. Este paradigma plantea un cuello de botella para la usabilidad de estos sistemas, ya que los usuarios deben navegar por jerarquías de carpetas complejas y recordar nombres de archivos crípticos. Para abordar esta limitación, proponemos un sistema de archivos semántico basado en LLM (LSFS) para la gestión de archivos impulsada por comandos. A diferencia de los enfoques convencionales, LSFS incorpora LLMs para permitir que los usuarios o agentes interactúen con archivos a través de comandos en lenguaje natural, facilitando la gestión semántica de archivos. A nivel macro, desarrollamos un conjunto de API completo para lograr funcionalidades de gestión de archivos semánticos, como la recuperación semántica de archivos, el monitoreo y resumen de actualizaciones de archivos, y el rollback semántico de archivos. A nivel micro, almacenamos archivos construyendo índices semánticos para ellos, diseñamos e implementamos llamadas al sistema de diferentes operaciones semánticas (por ejemplo, CRUD, agrupar por, unir) impulsadas por una base de datos vectorial. Nuestros experimentos muestran que LSFS ofrece mejoras significativas sobre los sistemas de archivos tradicionales en términos de conveniencia para el usuario, la diversidad de funciones admitidas, y la precisión y eficiencia de las operaciones de archivos. Además, con la integración de LLM, nuestro sistema permite tareas de gestión de archivos más inteligentes, como la síntesis de contenido y la comparación de versiones, mejorando aún más sus capacidades.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.