MedOpenClaw: Nachvollziehbare medizinische Bildgebungs-Agents, die über unkuratierte vollständige Studien schlussfolgern
MedOpenClaw: Auditable Medical Imaging Agents Reasoning over Uncurated Full Studies
March 25, 2026
Autoren: Weixiang Shen, Yanzhu Hu, Che Liu, Junde Wu, Jiayuan Zhu, Chengzhi Shen, Min Xu, Yueming Jin, Benedikt Wiestler, Daniel Rueckert, Jiazhen Pan
cs.AI
Zusammenfassung
Derzeit vereinfacht die Evaluierung von Vision-Language-Modellen (VLMs) für medizinische Bildgebungsaufgaben die klinische Realität zu stark, da sie auf vorselektierten 2D-Bildern basiert, deren Erstellung erheblichen manuellen Aufwand erfordert. Dieser Ansatz verfehlt die Kernherausforderung realer Diagnostik: Ein echtes klinisches System muss aktiv vollständige 3D-Volumen über mehrere Sequenzen oder Modalitäten hinweg navigieren, um Evidenz zu sammeln und letztlich eine endgültige Entscheidung zu unterstützen. Um dies zu adressieren, schlagen wir MEDOPENCLAW vor, eine nachvollziehbare Laufzeitumgebung, die es VLMs ermöglicht, dynamisch in standardisierten medizinischen Werkzeugen oder Viewern (z.B. 3D Slicer) zu operieren. Darauf aufbauend führen wir MEDFLOWBENCH ein, einen umfassenden Benchmark für vollständige Studien der medizinischen Bildgebung, der multi-sequenzielle MRT des Gehirns sowie CT/PET der Lunge abdeckt. Er evaluiert systematisch medizinische agentenbasierte Fähigkeiten über Viewer-only-, Tool-Use- und Open-Method-Tracks hinweg. Erste Ergebnisse zeigen eine entscheidende Erkenntnis: Während state-of-the-art LLMs/VLMs (z.B. Gemini 3.1 Pro und GPT-5.4) in der Lage sind, den Viewer erfolgreich zu navigieren, um grundlegende auf Studienebene basierende Aufgaben zu lösen, verschlechtert sich ihre Leistung paradoxerweise, wenn sie Zugang zu professionellen Unterstützungswerkzeugen erhalten, aufgrund eines Mangels an präziser räumlicher Verankerung. Durch die Überbrückung der Lücke zwischen statischer Bildwahrnehmung und interaktiven klinischen Workflows schaffen MEDOPENCLAW und MEDFLOWBENCH eine reproduzierbare Grundlage für die Entwicklung nachvollziehbarer, vollständige Studien umfassender Agenten für die medizinische Bildgebung.
English
Currently, evaluating vision-language models (VLMs) in medical imaging tasks oversimplifies clinical reality by relying on pre-selected 2D images that demand significant manual labor to curate. This setup misses the core challenge of realworld diagnostics: a true clinical agent must actively navigate full 3D volumes across multiple sequences or modalities to gather evidence and ultimately support a final decision. To address this, we propose MEDOPENCLAW, an auditable runtime designed to let VLMs operate dynamically within standard medical tools or viewers (e.g., 3D Slicer). On top of this runtime, we introduce MEDFLOWBENCH, a full-study medical imaging benchmark covering multi-sequence brain MRI and lung CT/PET. It systematically evaluates medical agentic capabilities across viewer-only, tool-use, and open-method tracks. Initial results reveal a critical insight: while state-of-the-art LLMs/VLMs (e.g., Gemini 3.1 Pro and GPT-5.4) can successfully navigate the viewer to solve basic study-level tasks, their performance paradoxically degrades when given access to professional support tools due to a lack of precise spatial grounding. By bridging the gap between static-image perception and interactive clinical workflows, MEDOPENCLAW and MEDFLOWBENCH establish a reproducible foundation for developing auditable, full-study medical imaging agents.