arXiv: 2511.03497v1
ROSBag MCP Server: Analyse von Roboterdaten mit LLMs für agentenbasierte embodied KI-Anwendungen
ROSBag MCP Server: Analyzing Robot Data with LLMs for Agentic Embodied AI Applications
November 5, 2025
papers.authors: Lei Fu, Sahar Salimpour, Leonardo Militano, Harry Edelman, Jorge Peña Queralta, Giovanni Toffetti
cs.ROcs.ROcs.AIcs.SE
papers.abstract
Agentische KI-Systeme und physische oder verkörperte KI-Systeme waren zwei zentrale Forschungsrichtungen an der Spitze der Künstlichen Intelligenz und Robotik, wobei das Model Context Protocol (MCP) zunehmend zu einer Schlüsselkomponente und einem Enabler für agentische Anwendungen wird. Dennoch bleibt die Literatur an der Schnittstelle dieser Richtungen, d.h. Agentic Embodied AI, spärlich. Dieses Papier stellt einen MCP-Server zur Analyse von ROS- und ROS-2-Bags vor, der es ermöglicht, Roboterdaten mit natürlicher Sprache durch LLMs und VLMs zu analysieren, zu visualisieren und zu verarbeiten. Wir beschreiben spezifische Werkzeuge, die mit Domänenwissen der Robotik entwickelt wurden, wobei sich unsere erste Veröffentlichung auf mobile Robotik konzentriert und nativ die Analyse von Trajektorien, Laserscan-Daten, Transformationen oder Zeitreihendaten unterstützt. Dies ergänzt die Bereitstellung einer Schnittstelle zu standardmäßigen ROS-2-CLI-Tools („ros2 bag list“ oder „ros2 bag info“) sowie die Möglichkeit, Bags mit einer Teilmenge von Topics oder zeitlich beschnitten zu filtern. In Verbindung mit dem MCP-Server bieten wir eine leichtgewichtige Benutzeroberfläche, die das Benchmarking der Werkzeuge mit verschiedenen LLMs ermöglicht, sowohl proprietären (Anthropic, OpenAI) als auch Open-Source-Modellen (über Groq). Unsere experimentellen Ergebnisse umfassen die Analyse der Werkzeugaufruf-Fähigkeiten von acht verschiedenen state-of-the-art LLM/VLM-Modellen, sowohl proprietären als auch Open-Source-Modellen, großen und kleinen. Unsere Experimente zeigen, dass es eine große Kluft in den Werkzeugaufruf-Fähigkeiten gibt, wobei Kimi K2 und Claude Sonnet 4 deutlich überlegene Leistungen demonstrieren. Wir kommen auch zu dem Schluss, dass mehrere Faktoren die Erfolgsraten beeinflussen, vom Schema der Werkzeugbeschreibung über die Anzahl der Argumente bis hin zur Anzahl der den Modellen zur Verfügung stehenden Werkzeuge. Der Code ist unter einer freizügigen Lizenz verfügbar unter https://github.com/binabik-ai/mcp-rosbags.
English
Agentic AI systems and Physical or Embodied AI systems have been two key research verticals at the forefront of Artificial Intelligence and Robotics, with Model Context Protocol (MCP) increasingly becoming a key component and enabler of agentic applications. However, the literature at the intersection of these verticals, i.e., Agentic Embodied AI, remains scarce. This paper introduces an MCP server for analyzing ROS and ROS 2 bags, allowing for analyzing, visualizing and processing robot data with natural language through LLMs and VLMs. We describe specific tooling built with robotics domain knowledge, with our initial release focused on mobile robotics and supporting natively the analysis of trajectories, laser scan data, transforms, or time series data. This is in addition to providing an interface to standard ROS 2 CLI tools ("ros2 bag list" or "ros2 bag info"), as well as the ability to filter bags with a subset of topics or trimmed in time. Coupled with the MCP server, we provide a lightweight UI that allows the benchmarking of the tooling with different LLMs, both proprietary (Anthropic, OpenAI) and open-source (through Groq). Our experimental results include the analysis of tool calling capabilities of eight different state-of-the-art LLM/VLM models, both proprietary and open-source, large and small. Our experiments indicate that there is a large divide in tool calling capabilities, with Kimi K2 and Claude Sonnet 4 demonstrating clearly superior performance. We also conclude that there are multiple factors affecting the success rates, from the tool description schema to the number of arguments, as well as the number of tools available to the models. The code is available with a permissive license at https://github.com/binabik-ai/mcp-rosbags.