IndusAgent : Renforcer la détection d'anomalies industrielles à vocabulaire ouvert avec des outils agentiques

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont démontré une capacité remarquable à faire le lien entre la perception visuelle et le raisonnement textuel, permettant une compréhension zero-shot dans divers scénarios industriels. Cependant, leurs performances en détection d'anomalies industrielles (IAD) à vocabulaire ouvert sont souvent limitées par un raisonnement non aligné sur le domaine et des inférences structurelles hallucinées. Pour relever ces défis, nous proposons IndusAgent, un cadre agentique augmenté d'outils pour l'IAD à vocabulaire ouvert. Plus précisément, nous construisons d'abord Indus-CoT, un ensemble de données structuré qui intègre des observations visuelles globales, des patches locaux à haute résolution et des a priori de normalité issus d'experts, fournissant une supervision pour l'ajustement fin du modèle sur des trajectoires d'inspection industrielle rigoureuses. Sur cette base, IndusAgent orchestre dynamiquement un ensemble d'outils externes, incluant le recadrage dynamique de régions, l'amélioration des caractéristiques haute fréquence et la récupération d'a priori, permettant ainsi à l'agent de résoudre activement les ambiguïtés visuelles et de démêler les anomalies subtiles. De plus, nous introduisons un objectif d'apprentissage par renforcement à porte qui optimise conjointement la classification des anomalies, la précision de localisation, le raisonnement sur le type d'anomalie et l'utilisation efficace des outils, garantissant que l'invocation des outils n'a lieu que lorsque cela est bénéfique. Des évaluations approfondies sur cinq benchmarks d'anomalies industrielles, notamment MVTec-AD, VisA, MPDD, DTD et SDD, démontrent qu'IndusAgent atteint des performances zero-shot de pointe parmi toutes les méthodes existantes, validant ainsi notre robustesse et notre capacité de généralisation.

English

Multimodal large language models (MLLMs) have shown remarkable capability in bridging visual perception and textual reasoning, enabling zero-shot understanding across diverse industrial scenarios. However, their performance in open-vocabulary industrial anomaly detection (IAD) is often limited by domain-misaligned reasoning and hallucinated structural inferences. To address these challenges, we propose IndusAgent, a tool-augmented agentic framework for open-vocabulary IAD. Specifically, we first construct Indus-CoT, a structured dataset that integrates global visual observations, high-resolution local patches, and expert normalcy priors, providing supervision for fine-tuning the model on rigorous industrial inspection trajectories. Building on this, IndusAgent dynamically orchestrates a set of external tools, including dynamic region cropping, high-frequency feature enhancement, and prior retrieval, thus enabling the agent to actively resolve visual ambiguities and disentangle subtle anomalies. Furthermore, we introduce a gated reinforcement learning objective that jointly optimizes anomaly classification, localization accuracy, anomaly type reasoning, and efficient tool usage, ensuring that tool invocation occurs only when beneficial. Extensive evaluations on five industrial anomaly benchmarks, including MVTec-AD, VisA, MPDD, DTD, and SDD, demonstrate that IndusAgent achieves state-of-the-art zero-shot performance among all existing methods, validating our robustness and generalization capacity.