KinDER: Um Benchmark de Raciocínio Físico para Aprendizado e Planejamento de Robôs

Resumo

Sistemas robóticos que interagem com o mundo físico devem raciocinar sobre restrições cinemáticas e dinâmicas impostas por sua própria materialização, seu ambiente e a tarefa em questão. Apresentamos o KinDER, um benchmark para Raciocínio Corporificado Cinemático e Dinâmico que visa desafios de raciocínio físico emergentes no aprendizado e planejamento de robôs. O KinDER compreende 25 ambientes gerados proceduralmente, uma biblioteca Python compatível com Gymnasium contendo habilidades parametrizadas e demonstrações, e um conjunto de avaliação padronizado com 13 linhas de base implementadas abrangendo planejamento de tarefas e movimento, aprendizado por imitação, aprendizado por reforço e abordagens baseadas em modelos de fundação. Os ambientes foram projetados para isolar cinco desafios centrais de raciocínio físico: relações espaciais básicas, manipulação multiobjeto não preensil, uso de ferramentas, restrições geométricas combinatórias e restrições dinâmicas, dissociados de percepção, compreensão de linguagem e complexidade específica da aplicação. A avaliação empírica demonstra que métodos existentes têm dificuldade em resolver muitos dos ambientes, indicando lacunas substanciais nas abordagens atuais para raciocínio físico. Incluímos adicionalmente experimentos real-to-sim-to-real em um manipulador móvel para avaliar a correspondência entre a simulação e a interação física no mundo real. O KinDER é totalmente de código aberto e tem como objetivo permitir a comparação sistemática entre paradigmas diversos para o avanço do raciocínio físico na robótica. Site e código: https://prpl-group.com/kinder-site/

English

Robotic systems that interact with the physical world must reason about kinematic and dynamic constraints imposed by their own embodiment, their environment, and the task at hand. We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning. KinDER comprises 25 procedurally generated environments, a Gymnasium-compatible Python library with parameterized skills and demonstrations, and a standardized evaluation suite with 13 implemented baselines spanning task and motion planning, imitation learning, reinforcement learning, and foundation-model-based approaches. The environments are designed to isolate five core physical reasoning challenges: basic spatial relations, nonprehensile multi-object manipulation, tool use, combinatorial geometric constraints, and dynamic constraints, disentangled from perception, language understanding, and application-specific complexity. Empirical evaluation shows that existing methods struggle to solve many of the environments, indicating substantial gaps in current approaches to physical reasoning. We additionally include real-to-sim-to-real experiments on a mobile manipulator to assess the correspondence between simulation and real-world physical interaction. KinDER is fully open-sourced and intended to enable systematic comparison across diverse paradigms for advancing physical reasoning in robotics. Website and code: https://prpl-group.com/kinder-site/