IndusAgent: Reforçando a detecção de anomalias industriais de vocabulário aberto com ferramentas agênticas

Resumo

Modelos de linguagem de grande escala multimodais (MLLMs) têm demonstrado capacidade notável em conectar percepção visual e raciocínio textual, possibilitando compreensão zero-shot em diversos cenários industriais. No entanto, seu desempenho na detecção de anomalias industriais (IAD) de vocabulário aberto é frequentemente limitado por raciocínios desalinhados ao domínio e inferências estruturais alucinadas. Para enfrentar esses desafios, propomos o IndusAgent, um framework agentivo aumentado por ferramentas para IAD de vocabulário aberto. Especificamente, primeiro construímos o Indus-CoT, um conjunto de dados estruturado que integra observações visuais globais, patches locais de alta resolução e prioridades de normalidade de especialistas, fornecendo supervisão para o ajuste fino do modelo em trajetórias rigorosas de inspeção industrial. Com base nisso, o IndusAgent orquestra dinamicamente um conjunto de ferramentas externas, incluindo recorte dinâmico de regiões, aprimoramento de características de alta frequência e recuperação de prioridades, permitindo que o agente resolva ativamente ambiguidades visuais e desvende anomalias sutis. Além disso, introduzimos um objetivo de aprendizado por reforço com portas que otimiza conjuntamente a classificação de anomalias, a precisão da localização, o raciocínio sobre o tipo de anomalia e o uso eficiente de ferramentas, garantindo que a invocação de ferramentas ocorra apenas quando benéfica. Avaliações extensivas em cinco benchmarks de anomalias industriais, incluindo MVTec-AD, VisA, MPDD, DTD e SDD, demonstram que o IndusAgent alcança desempenho zero-shot de ponta entre todos os métodos existentes, validando nossa robustez e capacidade de generalização.

English

Multimodal large language models (MLLMs) have shown remarkable capability in bridging visual perception and textual reasoning, enabling zero-shot understanding across diverse industrial scenarios. However, their performance in open-vocabulary industrial anomaly detection (IAD) is often limited by domain-misaligned reasoning and hallucinated structural inferences. To address these challenges, we propose IndusAgent, a tool-augmented agentic framework for open-vocabulary IAD. Specifically, we first construct Indus-CoT, a structured dataset that integrates global visual observations, high-resolution local patches, and expert normalcy priors, providing supervision for fine-tuning the model on rigorous industrial inspection trajectories. Building on this, IndusAgent dynamically orchestrates a set of external tools, including dynamic region cropping, high-frequency feature enhancement, and prior retrieval, thus enabling the agent to actively resolve visual ambiguities and disentangle subtle anomalies. Furthermore, we introduce a gated reinforcement learning objective that jointly optimizes anomaly classification, localization accuracy, anomaly type reasoning, and efficient tool usage, ensuring that tool invocation occurs only when beneficial. Extensive evaluations on five industrial anomaly benchmarks, including MVTec-AD, VisA, MPDD, DTD, and SDD, demonstrate that IndusAgent achieves state-of-the-art zero-shot performance among all existing methods, validating our robustness and generalization capacity.