ESARBench: Um Benchmark para Busca e Resgate Embarcado em UAVs com Agência

Resumo

O rápido avanço dos Modelos de Linguagem Multimodais de Grande Escala (MLLMs) tem dotado os Veículos Aéreos Não Tripulados (VANTs) com capacidades excepcionais em raciocínio espacial, compreensão semântica e tomada de decisão complexa, tornando-os inerentemente adequados para Busca e Resgate (SAR) com VANTs. No entanto, a pesquisa existente em SAR com VANTs é dominada por métodos tradicionais de visão e planeamento de trajetórias e carece de um benchmark abrangente e unificado para agentes corporificados. Para colmatar esta lacuna, propomos primeiro a nova tarefa de Busca e Resgate Corporificada (ESAR), que exige que agentes aéreos explorem autonomamente ambientes complexos, identifiquem pistas de resgate e raciocinem sobre a localização de vítimas para executar uma tomada de decisão informada. Adicionalmente, apresentamos o ESARBench, o primeiro benchmark abrangente concebido para avaliar agentes VANT orientados por MLLMs em cenários de SAR altamente realistas. Alavancando o Unreal Engine 5 e o AirSim, construímos quatro ambientes abertos de alta fidelidade e grande escala, mapeados diretamente a partir de dados de Sistemas de Informação Geográfica (SIG) do mundo real para garantir paisagens foto-realistas. Para simular rigorosamente operações de resgate reais, o nosso benchmark incorpora variáveis dinâmicas, incluindo condições meteorológicas, hora do dia e colocação estocástica de pistas. Além disso, criamos um conjunto de dados com 600 tarefas modeladas com base em casos de resgate do mundo real e propomos um conjunto robusto de métricas de avaliação. Avaliamos diversas linhas de base, desde heurísticas tradicionais até avançados agentes ObjectNav baseados em MLLMs terrestres e aéreos. Os resultados experimentais destacam os desafios na ESAR, revelando estrangulamentos críticos na memória espacial, adaptação aérea e no compromisso entre a eficiência de busca e a segurança de voo. Esperamos que o ESARBench sirva como um recurso valioso para avançar a pesquisa no domínio da Busca e Resgate Corporificada. Código fonte e página do projeto: https://4amgodvzx.github.io/ESAR.github.io.

English

The rapid advancement of Multimodal Large Language Models (MLLMs) has empowered Unmanned Aerial Vehicle (UAV) with exceptional capabilities in spatial reasoning, semantic understanding, and complex decision-making, making them inherently suited for UAV Search and Rescue (SAR). However, existing UAV SAR research is dominated by traditional vision and path-planning methods and lacks a comprehensive and unified benchmark for embodied agents. To bridge this gap, we first propose the novel task of Embodied Search and Rescue (ESAR), which requires aerial agents to autonomously explore complex environments, identify rescue clues, and reason about victim locations to execute informed decision-making. Additionally, we present ESARBench, the first comprehensive benchmark designed to evaluate MLLM-driven UAV agents in highly realistic SAR scenarios. Leveraging Unreal Engine 5 and AirSim, we construct four high-fidelity, large-scale open environments mapped directly from real-world Geographic Information System (GIS) data to ensure photorealistic landscapes. To rigorously simulate actual rescue operations, our benchmark incorporates dynamic variables including weather conditions, time of day, and stochastic clue placement. Furthermore, we create a dataset of 600 tasks modeled after real-world rescue cases and propose a robust set of evaluation metrics. We evaluate diverse baselines, ranging from traditional heuristics to advanced ground and aerial MLLM-based ObjectNav agents. Experimental results highlight the challenges in ESAR, revealing critical bottlenecks in spatial memory, aerial adaptation, and the trade-off between search efficiency and flight safety. We hope ESARBench serves as a valuable resource to advance research on Embodied Search and Rescue domain. Source code and project page: https://4amgodvzx.github.io/ESAR.github.io.