멀티모달 LLM을 드론 제어를 위한 범용 비전-언어-액션 에이전트로 평가하기: 명령, 접근, 추적 및 탐색

초록

멀티모달 대규모 언어 모델(MLLM)은 이미지와 비디오를 강력하게 인식한다. 우리는 그 인식의 손길이 행동 영역까지 얼마나 닿는지 묻는다: MLLM을 드론의 제어 루프에 직접 넣고, 전체 행동 공간을 오직 프롬프트에만 선언하는 것이다. 최근 시스템들은 이 설정에 접근하지만, 모델의 의사 결정을 점점 더 좁힌다. 우리는 이를 다시 넓힌다. 우리는 MLLM이 교체 가능한 구성 요소인 아키텍처 DroneCATS-Agent와, 모델을 독립 변수로 취급하는 벤치마크 DroneCATS를 소개한다. 단순히 픽셀을 향해 비행하는 것에 그치지 않고, 우리의 에이전트는 모델에게 요(yaw) 회전과 탐색, 불확실할 때의 숙고, 도착의 자가 선언을 맡긴다. 미세 조정이나 함수 호출 스키마 없이도 말이다. 최첨단 모델과 오픈 모델을 네 가지 핵심 능력, 즉 보이는 표적 접근, 움직이는 표적 추적, 초기 시야 밖 탐색, 다중 드론 편대 지휘에 걸쳐 평가한 결과, 가장 단순한 체화(embodied) 설정조차도 해결과는 거리가 멀다는 사실이 드러난다. 무엇보다, 경계에서 무엇이 먼저 무너지는지 식별하기 위해 우리의 모델 명단은 2B 파라미터까지 내려간다. 연구 결과는 극명한 역설을 드러낸다: 실패하는 것은 비행이 아니다. 작은 오픈 모델들은 종종 최첨단 모델보다 더 안정적으로 성공 반경 안으로 항법하지만, 도착을 조기에 선언하거나 아예 선언하지 않음으로써 에피소드를 잃는다. 다중 드론 지휘는 이러한 격차를 증폭시키며, 작은 모델들은 서로 다른 뷰에서 단일 좌표를 맹목적으로 복사함으로써 실패한다. 비전-언어-행동 에이전트로 볼 때, 모델들의 공간 지각은 유지되는 반면 행동 프로토콜은 유지되지 못한다. 배포 가능한 엣지 모델과 최첨단 모델을 가르는 것은 항법이 아니라, 선언된 프로토콜을 지속하고 올바른 종료 행동을 출력하는 규율이다. 남은 문제는 온보드 연산 비용으로 이러한 격차를 메우는 것, 즉 지속적으로 계획하고 자신이 완료된 시점을 정확히 아는 빠른 모델을 구현하는 것이며, DroneCATS는 바로 그 거리를 측정하기 위해 구축되었다.

English

Multimodal Large Language Models (MLLMs) are strong perceivers of images and video. We ask how far that reach extends into acting: dropping an MLLM directly into a drone's control loop, with its entire action space declared solely in the prompt. Recent systems approach this setting but increasingly narrow the model's decision-making. We widen it back. We introduce DroneCATS-Agent, an architecture where the MLLM is a swappable component, and DroneCATS, a benchmark treating the model as the independent variable. Beyond merely flying toward a pixel, our agent entrusts the model to yaw and search, deliberate when unsure, and self-declare arrival---all without fine-tuning or function-calling schemas. Evaluating frontier and open models across four core capabilities---approaching a visible target, tracking a moving one, searching outside the initial view, and commanding a multi-drone fleet---reveals that even the simplest embodied settings are far from solved. Crucially, to identify what breaks first at the edge, our roster scales down to 2B parameters. The findings expose a stark paradox: it is not the flying that fails. Small open models often navigate into the success radius more reliably than frontier models, yet lose the episode by declaring arrival prematurely or not at all. Multi-drone commanding amplifies this divide, with small models failing by blindly copying a single coordinate across distinct views. Viewed as vision-language-action agents, the models' spatial perception holds up, but their action protocol does not. What separates a deployable edge model from a frontier model is not navigation, but the discipline to sustain a declared protocol and emit the correct terminating action. The open problem is closing this gap at onboard compute costs---yielding a fast model that plans persistently and knows exactly when it is done---and DroneCATS is built to measure that distance.