Набор инструментов BEHAVIOR Vision: настраиваемая генерация набора данных через симуляцию

BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation

May 15, 2024

Авторы: Yunhao Ge, Yihe Tang, Jiashu Xu, Cem Gokmen, Chengshu Li, Wensi Ai, Benjamin Jose Martinez, Arman Aydin, Mona Anvari, Ayush K Chakravarthy, Hong-Xing Yu, Josiah Wong, Sanjana Srivastava, Sharon Lee, Shengxin Zha, Laurent Itti, Yunzhu Li, Roberto Martín-Martín, Miao Liu, Pengchuan Zhang, Ruohan Zhang, Li Fei-Fei, Jiajun Wu

cs.AI

Аннотация

Систематическая оценка и понимание моделей компьютерного зрения в различных условиях требуют больших объемов данных с подробными и настраиваемыми метками, чего реальные наборы данных по компьютерному зрению редко удовлетворяют. В то время как текущие генераторы синтетических данных предлагают многообещающую альтернативу, особенно для задач искусственного интеллекта воплощенного типа, они часто не соответствуют для задач компьютерного зрения из-за низкого качества ресурсов и рендеринга, ограниченного разнообразия и нереалистичных физических свойств. Мы представляем набор инструментов и ресурсов BEHAVIOR Vision Suite (BVS) для создания полностью настраиваемых синтетических данных для систематической оценки моделей компьютерного зрения, основанный на недавно разработанном эталоне искусственного интеллекта воплощенного типа, BEHAVIOR-1K. BVS поддерживает большое количество настраиваемых параметров на уровне сцены (например, освещение, размещение объектов), на уровне объекта (например, конфигурация соединений, атрибуты, такие как "заполненный" и "согнутый") и на уровне камеры (например, угол обзора, фокусное расстояние). Исследователи могут произвольно изменять эти параметры во время генерации данных для проведения контролируемых экспериментов. Мы продемонстрируем три примерных сценария применения: систематическая оценка устойчивости моделей на различных непрерывных осях сдвига домена, оценка моделей понимания сцены на одном и том же наборе изображений и обучение и оценка передачи симуляции в реальность для новой задачи компьютерного зрения: предсказание унарного и бинарного состояния. Веб-сайт проекта: https://behavior-vision-suite.github.io/

English

The systematic evaluation and understanding of computer vision models under varying conditions require large amounts of data with comprehensive and customized labels, which real-world vision datasets rarely satisfy. While current synthetic data generators offer a promising alternative, particularly for embodied AI tasks, they often fall short for computer vision tasks due to low asset and rendering quality, limited diversity, and unrealistic physical properties. We introduce the BEHAVIOR Vision Suite (BVS), a set of tools and assets to generate fully customized synthetic data for systematic evaluation of computer vision models, based on the newly developed embodied AI benchmark, BEHAVIOR-1K. BVS supports a large number of adjustable parameters at the scene level (e.g., lighting, object placement), the object level (e.g., joint configuration, attributes such as "filled" and "folded"), and the camera level (e.g., field of view, focal length). Researchers can arbitrarily vary these parameters during data generation to perform controlled experiments. We showcase three example application scenarios: systematically evaluating the robustness of models across different continuous axes of domain shift, evaluating scene understanding models on the same set of images, and training and evaluating simulation-to-real transfer for a novel vision task: unary and binary state prediction. Project website: https://behavior-vision-suite.github.io/