IndusAgent: Versterking van open-vocabulair industriële anomaliedetectie met agentische tools

Samenvatting

Multimodale grote taalmodellen (MLLM's) hebben opmerkelijke capaciteiten getoond in het overbruggen van visuele perceptie en tekstuele redenering, waardoor zero-shot begrip mogelijk wordt in diverse industriële scenario's. Hun prestaties in open-vocabulary industriële anomaliedetectie (IAD) worden echter vaak beperkt door domein-misaligned redenering en gehallucineerde structurele inferenties. Om deze uitdagingen aan te pakken, stellen we IndusAgent voor, een tool-versterkt agentisch raamwerk voor open-vocabulary IAD. Specifiek construeren we eerst Indus-CoT, een gestructureerde dataset die globale visuele observaties, hoge-resolutie lokale patches en expert-normaliteitprioriteiten integreert, wat supervisie biedt voor het finetunen van het model op rigoureuze industriële inspectietrajecten. Hierop voortbouwend orkestreert IndusAgent dynamisch een set externe tools, waaronder dynamische regiocropping, hoge-frequentie kenmerkverbetering en prioriteitsopvraging, waardoor de agent actief visuele ambiguïteiten kan oplossen en subtiele anomalieën kan ontwarren. Verder introduceren we een gegateerd reinforcement learning-doel dat gezamenlijk anomalieclassificatie, lokalisatienauwkeurigheid, redenering over anomalie-type en efficiënt toolgebruik optimaliseert, waardoor toolaanroeping alleen plaatsvindt wanneer dit nuttig is. Uitgebreide evaluaties op vijf industriële anomaliebenchmarks, waaronder MVTec-AD, VisA, MPDD, DTD en SDD, tonen aan dat IndusAgent state-of-the-art zero-shot prestaties behaalt onder alle bestaande methoden, wat onze robuustheid en generalisatiecapaciteit bevestigt.

English

Multimodal large language models (MLLMs) have shown remarkable capability in bridging visual perception and textual reasoning, enabling zero-shot understanding across diverse industrial scenarios. However, their performance in open-vocabulary industrial anomaly detection (IAD) is often limited by domain-misaligned reasoning and hallucinated structural inferences. To address these challenges, we propose IndusAgent, a tool-augmented agentic framework for open-vocabulary IAD. Specifically, we first construct Indus-CoT, a structured dataset that integrates global visual observations, high-resolution local patches, and expert normalcy priors, providing supervision for fine-tuning the model on rigorous industrial inspection trajectories. Building on this, IndusAgent dynamically orchestrates a set of external tools, including dynamic region cropping, high-frequency feature enhancement, and prior retrieval, thus enabling the agent to actively resolve visual ambiguities and disentangle subtle anomalies. Furthermore, we introduce a gated reinforcement learning objective that jointly optimizes anomaly classification, localization accuracy, anomaly type reasoning, and efficient tool usage, ensuring that tool invocation occurs only when beneficial. Extensive evaluations on five industrial anomaly benchmarks, including MVTec-AD, VisA, MPDD, DTD, and SDD, demonstrate that IndusAgent achieves state-of-the-art zero-shot performance among all existing methods, validating our robustness and generalization capacity.