VaseMuseum: Digitales intelligentes Museum für antike griechische Keramik

Zusammenfassung

Vision-Sprach-Modelle (VLMs) haben interaktive digitale Museen zunehmend realisierbar gemacht, indem sie die 3D-Digitalisierung mit der Erkundung von Artefakten in natürlicher Sprache verbinden. In Kulturerbebereichen wie der antiken griechischen Keramik wird eine zuverlässige VLM-Unterstützung jedoch durch zwei Herausforderungen eingeschränkt. Erstens erfordert die offene Interpretation eine Verankerung feinkörniger 2D/3D-visueller Beweise in spezialisiertem kuratorischem Wissen, doch der Abrufprozess kann schwache Quellen und nicht verifizierbare Referenzen einführen. Zweitens produzieren VLMs bei unvollständigen, verrauschten oder mehrdeutigen Beweisen oft selbstbewusste, aber unbegründete Antworten anstelle einer kalibrierten Unsicherheit. Um diese Herausforderungen zu bewältigen, schlagen wir VaseMuseum vor, ein leichtgewichtiges und modulares multimodales Agenten-Framework für intelligente digitale Museen antiker griechischer Keramik. VaseMuseum kombiniert ein interaktives virtuelles Museum mit VaseAgent, das sowohl 2D-Bilder als auch 3D-Artefakte durch multimodale Wahrnehmung, 3D-bewusstes Denken, externes Wissensabrufen und Zuverlässigkeitskontrolle zur Inferenzzeit unterstützt. Insbesondere ruft VaseAgent Beweise aus autoritativen Web- und Museumswissensquellen ab, und die Quellenkontrolle wählt vor der Generierung vielfältige und verifizierbare Beweise aus. Gleichzeitig prüft die Antwortkontrolle generierte Behauptungen gegen den Evidenzpool und fördert neutrale, evidenzgebundene Antworten, wenn die Unterstützung unzureichend oder widersprüchlich ist. Darüber hinaus bevorzugt ein trainingsfreier GRPO-artiger Auswahlmechanismus Antworten mit gültigen Referenzen und kalibrierter Konfidenz, ohne das VLM-Backbone zu aktualisieren. Experimente in einer realistischen Simulation eines digitalen Museums zeigen, dass VaseMuseum im Vergleich zu suchfähigen VLM-Baselines die Zitiervalidität verbessert, Halluzinationen bei wissensintensiven Anfragen reduziert und unter Mehrdeutigkeit neutralere Antworten liefert.

English

Vision-language models (VLMs) have made interactive digital museums increasingly feasible by connecting 3D digitization with natural-language artifact exploration. However, in cultural heritage domains such as ancient Greek pottery, reliable VLM assistance is limited by two challenges. First, open-ended interpretation requires grounding fine-grained 2D/3D visual evidence in specialized curatorial knowledge, yet the retrieval process may introduce weak sources and unverifiable references. Second, when the available evidence is incomplete, noisy, or ambiguous, VLMs often produce confident but unsupported answers instead of calibrated uncertainty. To address these challenges, we propose VaseMuseum, a lightweight and modular multimodal agent framework for intelligent digital museums of ancient Greek pottery. VaseMuseum combines an interactive virtual museum with VaseAgent, which supports both 2D images and 3D artifacts through multimodal perception, 3D-aware reasoning, external knowledge retrieval, and inference-time reliability control. Specifically, VaseAgent retrieves evidence from authoritative web and museum knowledge sources, and source-level control selects diverse and verifiable evidence before generation. Meanwhile, response-level control checks generated claims against the evidence pool and encourages neutral, evidence-bounded answers when support is insufficient or conflicting. Moreover, a training-free GRPO-style selection mechanism favors responses with valid references and calibrated confidence without updating the VLM backbone. Experiments in a realistic digital museum simulation show that VaseMuseum improves citation validity, reduces hallucinations on knowledge-intensive queries, and produces more neutral answers under ambiguity compared with search-enabled VLM baselines.