KinDER: 로봇 학습 및 계획을 위한 물리적 추론 벤치마크

초록

물리적 세계와 상호작용하는 로봇 시스템은 자체 구현체, 환경, 그리고 주어진 작업에 의해 부과되는 운동학적 및 동역학적 제약 조건에 대해 추론해야 합니다. 본 논문은 로봇 학습 및 계획 과정에서 발생하는 물리적 추론 과제를 대상으로 하는 Kinematic and Dynamic Embodied Reasoning(KinDER) 벤치마크를 소개합니다. KinDER는 25개의 절차적 생성 환경, 매개변수화된 기술과 데모를 포함한 Gymnasium 호환 Python 라이브러리, 그리고 작업 및 운동 계획, 모방 학습, 강화 학습, 기반 모델 기반 접근법을 아우르는 13개의 구현된 기준 방법을 포함한 표준화된 평가 도구로 구성됩니다. 이 환경들은 인식, 언어 이해, 응용별 복잡성으로부터 분리된 다섯 가지 핵심 물리적 추론 과제, 즉 기본 공간 관계, 비파지적 다중 객체 조작, 도구 사용, 조합 기하학적 제약, 동역학적 제약을 분리하여 설계되었습니다. 실험적 평가 결과, 기존 방법론들은 많은 환경을 해결하는 데 어려움을 겪으며, 현재 물리적 추론 접근법에 상당한 격차가 있음을 보여줍니다. 또한 시뮬레이션과 실제 세계의 물리적 상호작용 간 일치성을 평가하기 위해 모바일 매니퓰레이터에서의 실제-시뮬-실제 실험을 포함했습니다. KinDER는 완전히 오픈소스로 제공되며 로봇공학의 물리적 추론 발전을 위한 다양한 패러다임 간 체계적인 비교를 가능하게 하는 것을 목표로 합니다. 웹사이트 및 코드: https://prpl-group.com/kinder-site/

English

Robotic systems that interact with the physical world must reason about kinematic and dynamic constraints imposed by their own embodiment, their environment, and the task at hand. We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning. KinDER comprises 25 procedurally generated environments, a Gymnasium-compatible Python library with parameterized skills and demonstrations, and a standardized evaluation suite with 13 implemented baselines spanning task and motion planning, imitation learning, reinforcement learning, and foundation-model-based approaches. The environments are designed to isolate five core physical reasoning challenges: basic spatial relations, nonprehensile multi-object manipulation, tool use, combinatorial geometric constraints, and dynamic constraints, disentangled from perception, language understanding, and application-specific complexity. Empirical evaluation shows that existing methods struggle to solve many of the environments, indicating substantial gaps in current approaches to physical reasoning. We additionally include real-to-sim-to-real experiments on a mobile manipulator to assess the correspondence between simulation and real-world physical interaction. KinDER is fully open-sourced and intended to enable systematic comparison across diverse paradigms for advancing physical reasoning in robotics. Website and code: https://prpl-group.com/kinder-site/

KinDER: 로봇 학습 및 계획을 위한 물리적 추론 벤치마크

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning

초록

Support