arXiv: 2511.03497v1
Servidor MCP de ROSBag: Análisis de datos robóticos con LLM para aplicaciones de IA encarnada agentiva
ROSBag MCP Server: Analyzing Robot Data with LLMs for Agentic Embodied AI Applications
November 5, 2025
Autores: Lei Fu, Sahar Salimpour, Leonardo Militano, Harry Edelman, Jorge Peña Queralta, Giovanni Toffetti
cs.ROcs.ROcs.AIcs.SE
Resumen
Los sistemas de IA agentes y los sistemas de IA física o encarnada han sido dos áreas clave de investigación a la vanguardia de la Inteligencia Artificial y la Robótica, con el Protocolo de Contexto de Modelo (MCP) convirtiéndose cada vez más en un componente y facilitador clave de aplicaciones agentes. Sin embargo, la literatura en la intersección de estas áreas, es decir, la IA Encarnada Agente, sigue siendo escasa. Este artículo presenta un servidor MCP para analizar archivos ROS y ROS 2, permitiendo analizar, visualizar y procesar datos de robots mediante lenguaje natural a través de LLMs y VLMs. Describimos herramientas específicas construidas con conocimiento del dominio de la robótica, con nuestra versión inicial centrada en robótica móvil y soportando nativamente el análisis de trayectorias, datos de escaneo láser, transformaciones o series temporales. Esto se suma a proporcionar una interfaz para las herramientas CLI estándar de ROS 2 ("ros2 bag list" o "ros2 bag info"), así como la capacidad de filtrar archivos por un subconjunto de temas o recortados en el tiempo. Junto con el servidor MCP, ofrecemos una interfaz de usuario ligera que permite evaluar las herramientas con diferentes LLMs, tanto propietarios (Anthropic, OpenAI) como de código abierto (a través de Groq). Nuestros resultados experimentales incluyen el análisis de las capacidades de llamada a herramientas de ocho modelos LLM/VLM de última generación, tanto propietarios como de código abierto, grandes y pequeños. Nuestros experimentos indican que existe una gran brecha en las capacidades de llamada a herramientas, con Kimi K2 y Claude Sonnet 4 demostrando un rendimiento claramente superior. También concluimos que hay múltiples factores que afectan las tasas de éxito, desde el esquema de descripción de herramientas hasta el número de argumentos, así como el número de herramientas disponibles para los modelos. El código está disponible con una licencia permisiva en https://github.com/binabik-ai/mcp-rosbags.
English
Agentic AI systems and Physical or Embodied AI systems have been two key research verticals at the forefront of Artificial Intelligence and Robotics, with Model Context Protocol (MCP) increasingly becoming a key component and enabler of agentic applications. However, the literature at the intersection of these verticals, i.e., Agentic Embodied AI, remains scarce. This paper introduces an MCP server for analyzing ROS and ROS 2 bags, allowing for analyzing, visualizing and processing robot data with natural language through LLMs and VLMs. We describe specific tooling built with robotics domain knowledge, with our initial release focused on mobile robotics and supporting natively the analysis of trajectories, laser scan data, transforms, or time series data. This is in addition to providing an interface to standard ROS 2 CLI tools ("ros2 bag list" or "ros2 bag info"), as well as the ability to filter bags with a subset of topics or trimmed in time. Coupled with the MCP server, we provide a lightweight UI that allows the benchmarking of the tooling with different LLMs, both proprietary (Anthropic, OpenAI) and open-source (through Groq). Our experimental results include the analysis of tool calling capabilities of eight different state-of-the-art LLM/VLM models, both proprietary and open-source, large and small. Our experiments indicate that there is a large divide in tool calling capabilities, with Kimi K2 and Claude Sonnet 4 demonstrating clearly superior performance. We also conclude that there are multiple factors affecting the success rates, from the tool description schema to the number of arguments, as well as the number of tools available to the models. The code is available with a permissive license at https://github.com/binabik-ai/mcp-rosbags.