arXiv: 2511.03497v1

Serveur ROSBag MCP : Analyse des données robotiques avec des LLM pour des applications d'IA incarnée agentique

ROSBag MCP Server: Analyzing Robot Data with LLMs for Agentic Embodied AI Applications

November 5, 2025

papers.authors: Lei Fu, Sahar Salimpour, Leonardo Militano, Harry Edelman, Jorge Peña Queralta, Giovanni Toffetti

cs.ROcs.ROcs.AIcs.SE

papers.abstract

Les systèmes d'IA agentiques et les systèmes d'IA physique ou incarnée constituent deux axes de recherche majeurs à l'avant-garde de l'intelligence artificielle et de la robotique, le Protocole de Contexte de Modèle (MCP) devenant de plus en plus un composant clé et un facilitateur des applications agentiques. Cependant, la littérature à l'intersection de ces axes, c'est-à-dire l'IA agentique incarnée, reste rare. Cet article présente un serveur MCP pour l'analyse des fichiers ROS et ROS 2, permettant d'analyser, de visualiser et de traiter les données robotiques en langage naturel grâce aux LLM et VLM. Nous décrivons des outils spécifiques conçus avec une connaissance approfondie du domaine de la robotique, notre version initiale étant axée sur la robotique mobile et prenant en charge nativement l'analyse des trajectoires, des données de balayage laser, des transformations ou des séries temporelles. Cela s'ajoute à la fourniture d'une interface pour les outils CLI standard de ROS 2 ("ros2 bag list" ou "ros2 bag info"), ainsi qu'à la capacité de filtrer les fichiers par un sous-ensemble de sujets ou de les tronquer dans le temps. Couplé au serveur MCP, nous proposons une interface utilisateur légère permettant de comparer les performances des outils avec différents LLM, qu'ils soient propriétaires (Anthropic, OpenAI) ou open-source (via Groq). Nos résultats expérimentaux incluent l'analyse des capacités d'appel d'outils de huit modèles LLM/VLM de pointe, tant propriétaires qu'open-source, grands et petits. Nos expériences indiquent une grande disparité dans les capacités d'appel d'outils, avec Kimi K2 et Claude Sonnet 4 démontrant une performance clairement supérieure. Nous concluons également que plusieurs facteurs influencent les taux de réussite, allant du schéma de description des outils au nombre d'arguments, ainsi qu'au nombre d'outils disponibles pour les modèles. Le code est disponible sous une licence permissive à l'adresse https://github.com/binabik-ai/mcp-rosbags.

English

Agentic AI systems and Physical or Embodied AI systems have been two key research verticals at the forefront of Artificial Intelligence and Robotics, with Model Context Protocol (MCP) increasingly becoming a key component and enabler of agentic applications. However, the literature at the intersection of these verticals, i.e., Agentic Embodied AI, remains scarce. This paper introduces an MCP server for analyzing ROS and ROS 2 bags, allowing for analyzing, visualizing and processing robot data with natural language through LLMs and VLMs. We describe specific tooling built with robotics domain knowledge, with our initial release focused on mobile robotics and supporting natively the analysis of trajectories, laser scan data, transforms, or time series data. This is in addition to providing an interface to standard ROS 2 CLI tools ("ros2 bag list" or "ros2 bag info"), as well as the ability to filter bags with a subset of topics or trimmed in time. Coupled with the MCP server, we provide a lightweight UI that allows the benchmarking of the tooling with different LLMs, both proprietary (Anthropic, OpenAI) and open-source (through Groq). Our experimental results include the analysis of tool calling capabilities of eight different state-of-the-art LLM/VLM models, both proprietary and open-source, large and small. Our experiments indicate that there is a large divide in tool calling capabilities, with Kimi K2 and Claude Sonnet 4 demonstrating clearly superior performance. We also conclude that there are multiple factors affecting the success rates, from the tool description schema to the number of arguments, as well as the number of tools available to the models. The code is available with a permissive license at https://github.com/binabik-ai/mcp-rosbags.