ShutterMuse: Echtzeit-Fotografieanleitung mit MLLMs

Zusammenfassung

Fotografie in der realen Welt erfordert während der Aufnahme eine Anleitung sowohl für den Bildausschnitt der Kamera als auch für die Pose des Motivs. Bestehende Benchmarks für ästhetischen Bildzuschnitt bewerten jedoch hauptsächlich die nachträgliche Vorhersage von Bildausschnitten und übersehen motivseitige Empfehlungen, sodass die Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) zur Anleitung während der Aufnahme wenig erforscht sind. Um diese Lücke zu schließen, führen wir CaptureGuide-Bench ein, einen Benchmark mit zwei komplementären Aufgaben: fotografenseitige Entscheidung und Verfeinerung der Komposition sowie motivseitige, szenenabhängige Posenempfehlung. Unsere Evaluierung zeigt Einschränkungen: Allgemeine MLLMs können Kompositionsentscheidungen treffen, verfügen jedoch nicht über eine präzise Lokalisierung zur Verfeinerung, während spezialisierte Modelle für ästhetischen Bildzuschnitt effektiv Bildausschnitte lokalisieren, aber auf die Verfeinerung beschränkt sind; keines bietet umsetzbare Posenanleitung. Zur Unterstützung der Modellentwicklung erstellen wir zudem den CaptureGuide-Datensatz mit 130.000 Stichproben, die textliche Begründungen und strukturierte visuelle Annotationen enthalten, und entwickeln ShutterMuse, ein einheitliches MLLM, das mit überwachtem und bestärkendem Feintuning trainiert wurde. Experimente auf CaptureGuide-Bench zeigen, dass ShutterMuse unter den evaluierten Baselines die insgesamt beste fotografenseitige Leistung und eine wettbewerbsfähige motivseitige Posenempfehlung mit deutlich niedrigeren Inferenzkosten erzielt, was das Potenzial von MLLMs als interaktive Assistenten für die Fotografie während der Bildaufnahme demonstriert.

English

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.