VaseMuseum: Museo Digital Inteligente de la Cerámica Griega Antigua

Resumen

Los modelos de lenguaje visual (VLM, por sus siglas en inglés) han hecho que los museos digitales interactivos sean cada vez más viables al conectar la digitalización 3D con la exploración de artefactos mediante lenguaje natural. Sin embargo, en dominios del patrimonio cultural como la cerámica griega antigua, la asistencia fiable de los VLM está limitada por dos desafíos. Primero, la interpretación abierta requiere fundamentar evidencia visual detallada en 2D/3D con conocimiento curatorial especializado, pero el proceso de recuperación puede introducir fuentes débiles y referencias no verificables. Segundo, cuando la evidencia disponible es incompleta, ruidosa o ambigua, los VLM suelen producir respuestas seguras pero sin respaldo, en lugar de una incertidumbre calibrada. Para abordar estos desafíos, proponemos VaseMuseum, un marco de agente multimodal ligero y modular para museos digitales inteligentes de cerámica griega antigua. VaseMuseum combina un museo virtual interactivo con VaseAgent, que admite tanto imágenes 2D como artefactos 3D mediante percepción multimodal, razonamiento consciente de la 3D, recuperación de conocimiento externo y control de fiabilidad durante la inferencia. Específicamente, VaseAgent recupera evidencia de fuentes web autorizadas y de conocimiento museístico, y un control a nivel de fuente selecciona evidencia diversa y verificable antes de la generación. Además, un control a nivel de respuesta verifica las afirmaciones generadas frente al conjunto de evidencia y fomenta respuestas neutrales y limitadas por la evidencia cuando el respaldo es insuficiente o contradictorio. Asimismo, un mecanismo de selección tipo GRPO sin entrenamiento favorece respuestas con referencias válidas y confianza calibrada sin actualizar la base del VLM. Los experimentos en una simulación realista de museo digital muestran que VaseMuseum mejora la validez de las citas, reduce las alucinaciones en consultas intensivas en conocimiento y produce respuestas más neutrales ante la ambigüedad en comparación con líneas base de VLM con búsqueda habilitada.

English

Vision-language models (VLMs) have made interactive digital museums increasingly feasible by connecting 3D digitization with natural-language artifact exploration. However, in cultural heritage domains such as ancient Greek pottery, reliable VLM assistance is limited by two challenges. First, open-ended interpretation requires grounding fine-grained 2D/3D visual evidence in specialized curatorial knowledge, yet the retrieval process may introduce weak sources and unverifiable references. Second, when the available evidence is incomplete, noisy, or ambiguous, VLMs often produce confident but unsupported answers instead of calibrated uncertainty. To address these challenges, we propose VaseMuseum, a lightweight and modular multimodal agent framework for intelligent digital museums of ancient Greek pottery. VaseMuseum combines an interactive virtual museum with VaseAgent, which supports both 2D images and 3D artifacts through multimodal perception, 3D-aware reasoning, external knowledge retrieval, and inference-time reliability control. Specifically, VaseAgent retrieves evidence from authoritative web and museum knowledge sources, and source-level control selects diverse and verifiable evidence before generation. Meanwhile, response-level control checks generated claims against the evidence pool and encourages neutral, evidence-bounded answers when support is insufficient or conflicting. Moreover, a training-free GRPO-style selection mechanism favors responses with valid references and calibrated confidence without updating the VLM backbone. Experiments in a realistic digital museum simulation show that VaseMuseum improves citation validity, reduces hallucinations on knowledge-intensive queries, and produces more neutral answers under ambiguity compared with search-enabled VLM baselines.