KinDER: Бенчмарк физических рассуждений для обучения и планирования действий роботов

Аннотация

Роботизированные системы, взаимодействующие с физическим миром, должны учитывать кинематические и динамические ограничения, накладываемые их собственной конструкцией, окружающей средой и решаемой задачей. Мы представляем KinDER — бенчмарк для кинематического и динамического воплощенного рассуждения (Kinematic and Dynamic Embodied Reasoning), который нацелен на проблемы физического рассуждения, возникающие в задачах обучения и планирования для роботов. KinDER включает 25 процедурно генерируемых сред, совместимую с Gymnasium библиотеку на Python с параметризованными навыками и демонстрациями, а также стандартизированный набор для оценки с 13 реализованными базовыми методами, охватывающими планирование задач и движений, имитационное обучение, обучение с подкреплением и подходы на основе фундаментальных моделей. Среда спроектирована для изоляции пяти ключевых проблем физического рассуждения: базовые пространственные отношения, не прегензильная манипуляция несколькими объектами, использование инструментов, комбинаторные геометрические ограничения и динамические ограничения — отдельно от восприятия, понимания языка и прикладной сложности. Эмпирическая оценка показывает, что существующие методы с трудом справляются со многими средами, что указывает на существенные пробелы в современных подходах к физическому рассуждению. Мы также включаем эксперименты по схеме «реальность-симуляция-реальность» на мобильном манипуляторе для оценки соответствия между симуляцией и реальным физическим взаимодействием. KinDER является полностью открытым и предназначен для систематического сравнения различных парадигм с целью продвижения в области физического рассуждения в робототехнике. Веб-сайт и код: https://prpl-group.com/kinder-site/

English

Robotic systems that interact with the physical world must reason about kinematic and dynamic constraints imposed by their own embodiment, their environment, and the task at hand. We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning. KinDER comprises 25 procedurally generated environments, a Gymnasium-compatible Python library with parameterized skills and demonstrations, and a standardized evaluation suite with 13 implemented baselines spanning task and motion planning, imitation learning, reinforcement learning, and foundation-model-based approaches. The environments are designed to isolate five core physical reasoning challenges: basic spatial relations, nonprehensile multi-object manipulation, tool use, combinatorial geometric constraints, and dynamic constraints, disentangled from perception, language understanding, and application-specific complexity. Empirical evaluation shows that existing methods struggle to solve many of the environments, indicating substantial gaps in current approaches to physical reasoning. We additionally include real-to-sim-to-real experiments on a mobile manipulator to assess the correspondence between simulation and real-world physical interaction. KinDER is fully open-sourced and intended to enable systematic comparison across diverse paradigms for advancing physical reasoning in robotics. Website and code: https://prpl-group.com/kinder-site/

KinDER: Бенчмарк физических рассуждений для обучения и планирования действий роботов

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning

Аннотация

Support