ShutterMuse : Guidance photographique au moment de la capture à l’aide de MLLMs

Résumé

La photographie dans le monde réel nécessite, lors de la prise de vue, des indications à la fois pour le cadrage de l’appareil et la pose du sujet. Pourtant, les benchmarks existants de recadrage esthétique évaluent principalement la prédiction de recadrage a posteriori et négligent les recommandations côté sujet, laissant ainsi inexplorées les capacités de guidage en temps réel des modèles de langage multimodaux de grande taille (MLLMs). Pour combler cette lacune, nous introduisons CaptureGuide-Bench, un benchmark composé de deux tâches complémentaires : la décision et le raffinement de la composition côté photographe, ainsi que la recommandation de pose conditionnée par la scène côté sujet. Notre évaluation révèle des limites : les MLLMs généralistes peuvent prendre des décisions de composition mais manquent de précision dans la localisation du raffinement, tandis que les modèles spécialisés de recadrage esthétique localisent efficacement les recadrages mais se limitent au raffinement ; aucun ne fournit de recommandations de pose exploitables. Pour soutenir le développement des modèles, nous avons également construit CaptureGuide-Dataset, comprenant 130 000 échantillons avec des justifications textuelles et des annotations visuelles structurées, et développé ShutterMuse, un MLLM unifié entraîné par réglage fin supervisé et par renforcement. Les expériences sur CaptureGuide-Bench montrent que ShutterMuse atteint la meilleure performance globale côté photographe parmi les bases de référence évaluées et une recommandation de pose côté sujet compétitive avec un coût d’inférence nettement inférieur, démontrant le potentiel des MLLMs en tant qu’assistants interactifs pour la photographie lors de la capture d’image.

English

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.