IndusAgent: Reforzando la Detección de Anomalías Industriales de Vocabulario Abierto con Herramientas Agentivas

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs) han demostrado una capacidad notable para tender un puente entre la percepción visual y el razonamiento textual, permitiendo una comprensión de cero ejemplos (zero-shot) en diversos escenarios industriales. Sin embargo, su rendimiento en la detección de anomalías industriales (IAD) de vocabulario abierto suele verse limitado por razonamientos desalineados con el dominio e inferencias estructurales alucinadas. Para abordar estos desafíos, proponemos IndusAgent, un marco agéntico aumentado con herramientas para IAD de vocabulario abierto. Específicamente, primero construimos Indus-CoT, un conjunto de datos estructurado que integra observaciones visuales globales, parches locales de alta resolución y prioridades de normalidad de expertos, proporcionando supervisión para el ajuste fino del modelo en trayectorias rigurosas de inspección industrial. Basándonos en esto, IndusAgent orquesta dinámicamente un conjunto de herramientas externas, que incluyen recorte dinámico de regiones, mejora de características de alta frecuencia y recuperación de prioridades, permitiendo así que el agente resuelva activamente ambigüedades visuales y desenrede anomalías sutiles. Además, introducimos un objetivo de aprendizaje por refuerzo con compuertas que optimiza conjuntamente la clasificación de anomalías, la precisión de localización, el razonamiento del tipo de anomalía y el uso eficiente de herramientas, asegurando que la invocación de herramientas ocurra solo cuando sea beneficiosa. Evaluaciones exhaustivas en cinco puntos de referencia de anomalías industriales, incluyendo MVTec-AD, VisA, MPDD, DTD y SDD, demuestran que IndusAgent alcanza un rendimiento de cero ejemplos (zero-shot) de última generación entre todos los métodos existentes, validando nuestra robustez y capacidad de generalización.

English

Multimodal large language models (MLLMs) have shown remarkable capability in bridging visual perception and textual reasoning, enabling zero-shot understanding across diverse industrial scenarios. However, their performance in open-vocabulary industrial anomaly detection (IAD) is often limited by domain-misaligned reasoning and hallucinated structural inferences. To address these challenges, we propose IndusAgent, a tool-augmented agentic framework for open-vocabulary IAD. Specifically, we first construct Indus-CoT, a structured dataset that integrates global visual observations, high-resolution local patches, and expert normalcy priors, providing supervision for fine-tuning the model on rigorous industrial inspection trajectories. Building on this, IndusAgent dynamically orchestrates a set of external tools, including dynamic region cropping, high-frequency feature enhancement, and prior retrieval, thus enabling the agent to actively resolve visual ambiguities and disentangle subtle anomalies. Furthermore, we introduce a gated reinforcement learning objective that jointly optimizes anomaly classification, localization accuracy, anomaly type reasoning, and efficient tool usage, ensuring that tool invocation occurs only when beneficial. Extensive evaluations on five industrial anomaly benchmarks, including MVTec-AD, VisA, MPDD, DTD, and SDD, demonstrate that IndusAgent achieves state-of-the-art zero-shot performance among all existing methods, validating our robustness and generalization capacity.