ドローン制御のための汎用視覚-言語-行動エージェントとしてのマルチモーダルLLMの評価：指令、接近、追跡、探索

要旨

マルチモーダル大規模言語モデル（MLLM）は、画像や動画に対する強力な知覚能力を持つ。我々は、その到達範囲が行動へとどこまで及ぶのかを問う。すなわち、MLLMをドローンの制御ループに直接投入し、そのアクション空間全体をプロンプト内でのみ宣言する設定である。近年のシステムはこの設定に近づいているが、モデルの意思決定をますます狭めている。我々はその幅を再び広げる。MLLMを交換可能なコンポーネントとして組み込むアーキテクチャDroneCATS-Agent、そしてモデルを独立変数として扱うベンチマークDroneCATSを導入する。我々のエージェントは、単に画素へ向かって飛ぶだけにとどまらず、ヨーイングと探索、不確かな場合の熟考、到着の自己申告を、ファインチューニングも関数呼び出しスキーマも用いずにモデルに委ねる。可視ターゲットへの接近、移動ターゲットの追跡、初期視野外の探索、マルチドローンフリートの指揮という4つの中核的能力について、フロンティアモデルとオープンモデルを評価した結果、最も単純な身体性を伴う設定でさえ、未解決のままであることが明らかになる。さらに重要なのは、エッジで最初に何が破綻するのかを特定するために、評価対象のモデル群を20億（2B）パラメータまで縮小した点である。そこで得られた知見は、はっきりとした逆説を露呈する。失敗するのは飛行ではない。小型のオープンモデルは、フロンティアモデルよりも高い信頼性で成功半径内へ進入することが多いが、到着を時期尚早に宣言するか、あるいはまったく宣言しないかして、エピソードを失敗に終わらせるのである。マルチドローン指揮はこの隔たりをさらに増幅し、小型モデルは、異なる視点にわたって単一の座標を盲目的にコピーすることで失敗する。視覚-言語-行動エージェントとして見れば、モデルの空間知覚は十分に機能しているが、行動プロトコルは機能していない。配備可能なエッジモデルとフロンティアモデルを隔てるのは、ナビゲーションではなく、宣言されたプロトコルを維持し、正しい終了アクションを発行する規律である。未解決の課題は、オンボード計算コストの範囲でこのギャップを埋めること、すなわち、持続的に計画し、いつ完了したのかを正確に認識する高速なモデルを実現することであり、DroneCATSはその距離を測定するために構築されている。

English

Multimodal Large Language Models (MLLMs) are strong perceivers of images and video. We ask how far that reach extends into acting: dropping an MLLM directly into a drone's control loop, with its entire action space declared solely in the prompt. Recent systems approach this setting but increasingly narrow the model's decision-making. We widen it back. We introduce DroneCATS-Agent, an architecture where the MLLM is a swappable component, and DroneCATS, a benchmark treating the model as the independent variable. Beyond merely flying toward a pixel, our agent entrusts the model to yaw and search, deliberate when unsure, and self-declare arrival---all without fine-tuning or function-calling schemas. Evaluating frontier and open models across four core capabilities---approaching a visible target, tracking a moving one, searching outside the initial view, and commanding a multi-drone fleet---reveals that even the simplest embodied settings are far from solved. Crucially, to identify what breaks first at the edge, our roster scales down to 2B parameters. The findings expose a stark paradox: it is not the flying that fails. Small open models often navigate into the success radius more reliably than frontier models, yet lose the episode by declaring arrival prematurely or not at all. Multi-drone commanding amplifies this divide, with small models failing by blindly copying a single coordinate across distinct views. Viewed as vision-language-action agents, the models' spatial perception holds up, but their action protocol does not. What separates a deployable edge model from a frontier model is not navigation, but the discipline to sustain a declared protocol and emit the correct terminating action. The open problem is closing this gap at onboard compute costs---yielding a fast model that plans persistently and knows exactly when it is done---and DroneCATS is built to measure that distance.