PhysX-Omni: унифицированная симуляционно-готовая физическая 3D-генерация для твердых, деформируемых и сочлененных объектов

Аннотация

Готовые к симуляции физические 3D-активы стали перспективным направлением благодаря их широкой применимости в задачах нижнего уровня. Однако большинство существующих методов генерации 3D либо игнорируют физические свойства, либо ограничены одним классом активов, например, жесткими, деформируемыми или сочлененными объектами. Для преодоления этих ограничений мы представляем PhysX-Omni — унифицированную среду для генерации физических 3D-объектов, готовых к симуляции, охватывающую разнообразные типы активов. В частности, мы разрабатываем новое и эффективное представление геометрии, адаптированное для моделей зрения и языка, которое напрямую кодирует 3D-структуры высокого разрешения без сжатия, значительно улучшая качество генерации. Кроме того, мы создаем первый общий набор 3D-данных, готовых к симуляции, — PhysXVerse, охватывающий различные категории интерьеров и экстерьеров. Для всесторонней и гибкой оценки как генеративных, так и понимающих способностей в реальных условиях мы предлагаем PhysX-Bench, включающий шесть ключевых атрибутов: геометрию, абсолютный масштаб, материал, аффорданс, кинематику и описание функций. Обширные эксперименты с использованием традиционных метрик и PhysX-Bench показывают, что PhysX-Omni демонстрирует высокую производительность как в генерации, так и в понимании. Кроме того, дополнительные исследования подтверждают потенциал PhysX-Omni для применения в задачах генерации сцен, готовых к симуляции, и обучения роботизированных политик. Мы полагаем, что PhysX-Omni может значительно продвинуть широкий спектр прикладных задач нижнего уровня, особенно в области воплощенного ИИ и физически обоснованного моделирования.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.