ShutterMuse: Guía de fotografía en el momento de la captura con MLLMs

Resumen

La fotografía en el mundo real requiere orientación en el momento de la captura tanto para el encuadre de la cámara como para la pose del sujeto. Sin embargo, los benchmarks existentes de recorte estético evalúan principalmente la predicción de recorte posterior y pasan por alto las recomendaciones del lado del sujeto, dejando sin explorar las capacidades de orientación en el momento de la captura de los modelos de lenguaje multimodal de gran escala (MLLM). Para abordar esta brecha, presentamos CaptureGuide-Bench, un benchmark con dos tareas complementarias: decisión y refinamiento de composición del lado del fotógrafo, y recomendación de pose condicionada por la escena del lado del sujeto. Nuestra evaluación revela limitaciones: los MLLM de propósito general pueden tomar decisiones de composición pero carecen de una localización precisa del refinamiento, mientras que los modelos especializados de recorte estético localizan los recortes de manera efectiva pero se limitan al refinamiento; ninguno proporciona orientación práctica sobre la pose. Para apoyar el desarrollo de modelos, además construimos CaptureGuide-Dataset, que comprende 130K muestras con justificaciones textuales y anotaciones visuales estructuradas, y desarrollamos ShutterMuse, un MLLM unificado entrenado con ajuste fino supervisado y por refuerzo. Los experimentos en CaptureGuide-Bench muestran que ShutterMuse logra el mejor rendimiento general del lado del fotógrafo entre las líneas base evaluadas y una recomendación de pose del lado del sujeto competitiva con un costo de inferencia sustancialmente menor, demostrando el potencial de los MLLM como asistentes interactivos para la fotografía durante la captura de imágenes.

English

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.