VaseMuseum: цифровой интеллектуальный музей древнегреческой керамики

Аннотация

Визуально-языковые модели (ВЯМ) делают интерактивные цифровые музеи все более осуществимыми, соединяя 3D-оцифровку с исследованием артефактов на естественном языке. Однако в области культурного наследия, такой как древнегреческая керамика, надежная помощь ВЯМ ограничена двумя проблемами. Во-первых, интерпретация открытого типа требует увязывания мелкозернистых 2D/3D визуальных свидетельств со специализированными кураторскими знаниями, однако процесс поиска может вносить слабые источники и неверифицируемые ссылки. Во-вторых, когда доступные свидетельства неполны, зашумлены или неоднозначны, ВЯМ часто выдают уверенные, но необоснованные ответы вместо калиброванной неопределенности. Для решения этих проблем мы предлагаем VaseMuseum — легковесную и модульную мультимодальную агентную структуру для интеллектуальных цифровых музеев древнегреческой керамики. VaseMuseum объединяет интерактивный виртуальный музей с VaseAgent, который поддерживает как 2D-изображения, так и 3D-артефакты через мультимодальное восприятие, рассуждение с учетом 3D, извлечение внешних знаний и контроль надежности во время вывода. В частности, VaseAgent извлекает свидетельства из авторитетных веб-источников и музейных баз знаний, а контроль на уровне источников отбирает разнообразные и проверяемые свидетельства до генерации. Одновременно с этим контроль на уровне ответов проверяет сгенерированные утверждения на соответствие пулу свидетельств и поощряет нейтральные, ограниченные свидетельствами ответы при недостаточной или противоречивой поддержке. Кроме того, не требующий обучения механизм отбора в стиле GRPO отдает предпочтение ответам с корректными ссылками и калиброванной уверенностью без обновления базовой модели ВЯМ. Эксперименты в реалистичной симуляции цифрового музея показывают, что VaseMuseum улучшает валидность цитирования, уменьшает галлюцинации на запросах, требующих интенсивного использования знаний, и выдает более нейтральные ответы в условиях неоднозначности по сравнению с базовыми моделями ВЯМ с возможностью поиска.

English

Vision-language models (VLMs) have made interactive digital museums increasingly feasible by connecting 3D digitization with natural-language artifact exploration. However, in cultural heritage domains such as ancient Greek pottery, reliable VLM assistance is limited by two challenges. First, open-ended interpretation requires grounding fine-grained 2D/3D visual evidence in specialized curatorial knowledge, yet the retrieval process may introduce weak sources and unverifiable references. Second, when the available evidence is incomplete, noisy, or ambiguous, VLMs often produce confident but unsupported answers instead of calibrated uncertainty. To address these challenges, we propose VaseMuseum, a lightweight and modular multimodal agent framework for intelligent digital museums of ancient Greek pottery. VaseMuseum combines an interactive virtual museum with VaseAgent, which supports both 2D images and 3D artifacts through multimodal perception, 3D-aware reasoning, external knowledge retrieval, and inference-time reliability control. Specifically, VaseAgent retrieves evidence from authoritative web and museum knowledge sources, and source-level control selects diverse and verifiable evidence before generation. Meanwhile, response-level control checks generated claims against the evidence pool and encourages neutral, evidence-bounded answers when support is insufficient or conflicting. Moreover, a training-free GRPO-style selection mechanism favors responses with valid references and calibrated confidence without updating the VLM backbone. Experiments in a realistic digital museum simulation show that VaseMuseum improves citation validity, reduces hallucinations on knowledge-intensive queries, and produces more neutral answers under ambiguity compared with search-enabled VLM baselines.