arXiv: 2511.03497v1

ROSBag MCP Server: Анализ данных роботов с использованием LLM для агентных приложений воплощенного ИИ

ROSBag MCP Server: Analyzing Robot Data with LLMs for Agentic Embodied AI Applications

November 5, 2025

Авторы: Lei Fu, Sahar Salimpour, Leonardo Militano, Harry Edelman, Jorge Peña Queralta, Giovanni Toffetti

cs.ROcs.ROcs.AIcs.SE

Аннотация

Агентные системы искусственного интеллекта и физические или воплощенные системы ИИ представляют собой два ключевых направления исследований на переднем крае искусственного интеллекта и робототехники, при этом протокол контекста модели (Model Context Protocol, MCP) становится все более важным компонентом и инструментом для реализации агентных приложений. Однако литература на пересечении этих направлений, то есть в области агентного воплощенного ИИ, остается ограниченной. В данной статье представлен сервер MCP для анализа данных из ROS и ROS 2 пакетов, позволяющий анализировать, визуализировать и обрабатывать данные роботов с использованием естественного языка через крупные языковые модели (LLM) и визуальные языковые модели (VLM). Мы описываем специализированные инструменты, разработанные с учетом знаний в области робототехники, причем наша первоначальная версия ориентирована на мобильную робототехнику и поддерживает анализ траекторий, данных лазерного сканирования, преобразований и временных рядов. Кроме того, предоставляется интерфейс для стандартных CLI-инструментов ROS 2 (например, "ros2 bag list" или "ros2 bag info"), а также возможность фильтрации пакетов по подмножеству тем или временному интервалу. Вместе с сервером MCP мы предлагаем легковесный пользовательский интерфейс, позволяющий тестировать инструменты с использованием различных LLM, как проприетарных (Anthropic, OpenAI), так и открытых (через Groq). Наши экспериментальные результаты включают анализ возможностей вызова инструментов восьми различных современных моделей LLM/VLM, как проприетарных, так и открытых, больших и малых. Эксперименты показывают значительный разрыв в возможностях вызова инструментов, причем модели Kimi K2 и Claude Sonnet 4 демонстрируют явно превосходящую производительность. Мы также делаем вывод, что на успешность влияют множество факторов, начиная от схемы описания инструментов и количества аргументов до числа доступных моделям инструментов. Код доступен по лицензии с минимальными ограничениями по адресу https://github.com/binabik-ai/mcp-rosbags.

English

Agentic AI systems and Physical or Embodied AI systems have been two key research verticals at the forefront of Artificial Intelligence and Robotics, with Model Context Protocol (MCP) increasingly becoming a key component and enabler of agentic applications. However, the literature at the intersection of these verticals, i.e., Agentic Embodied AI, remains scarce. This paper introduces an MCP server for analyzing ROS and ROS 2 bags, allowing for analyzing, visualizing and processing robot data with natural language through LLMs and VLMs. We describe specific tooling built with robotics domain knowledge, with our initial release focused on mobile robotics and supporting natively the analysis of trajectories, laser scan data, transforms, or time series data. This is in addition to providing an interface to standard ROS 2 CLI tools ("ros2 bag list" or "ros2 bag info"), as well as the ability to filter bags with a subset of topics or trimmed in time. Coupled with the MCP server, we provide a lightweight UI that allows the benchmarking of the tooling with different LLMs, both proprietary (Anthropic, OpenAI) and open-source (through Groq). Our experimental results include the analysis of tool calling capabilities of eight different state-of-the-art LLM/VLM models, both proprietary and open-source, large and small. Our experiments indicate that there is a large divide in tool calling capabilities, with Kimi K2 and Claude Sonnet 4 demonstrating clearly superior performance. We also conclude that there are multiple factors affecting the success rates, from the tool description schema to the number of arguments, as well as the number of tools available to the models. The code is available with a permissive license at https://github.com/binabik-ai/mcp-rosbags.