ShutterMuse: Руководство по фотосъемке в момент съемки с помощью MLLM

Аннотация

Реальная фотография требует руководства в момент съемки как по кадрированию камеры, так и по позе объекта. Однако существующие эстетические бенчмарки кадрирования в основном оценивают постфактумное предсказание кадрирования и упускают рекомендации для объекта, оставляя возможности мультимодальных больших языковых моделей (МБЯМ) по предоставлению руководства в момент съемки недостаточно исследованными. Для устранения этого пробела мы представляем CaptureGuide-Bench — бенчмарк с двумя взаимодополняющими задачами: принятие решений и уточнение композиции со стороны фотографа, а также рекомендация позы объекта с учетом сцены со стороны самого объекта. Наша оценка выявляет ограничения: МБЯМ общего назначения могут принимать композиционные решения, но им не хватает точной локализации уточнений, в то время как специализированные модели эстетического кадрирования эффективно локализуют кадры, но ограничены уточнением; ни одна из них не предоставляет практических указаний по позе. Для поддержки разработки моделей мы дополнительно создаем CaptureGuide-Dataset, содержащий 130 тысяч образцов с текстовыми обоснованиями и структурированными визуальными аннотациями, и разрабатываем ShutterMuse — единую МБЯМ, обученную с помощью контролируемой донастройки и донастройки с подкреплением. Эксперименты на CaptureGuide-Bench показывают, что ShutterMuse достигает наилучшей общей производительности со стороны фотографа среди оцененных базовых линий и конкурентоспособной рекомендации позы объекта при существенно меньших вычислительных затратах на вывод, демонстрируя потенциал МБЯМ в качестве интерактивных помощников в фотографии во время захвата изображения.

English

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.