IndusAgent: Усиление промышленного обнаружения аномалий с открытым словарем с помощью агентных инструментов

Аннотация

Мультимодальные большие языковые модели (MLLMs) продемонстрировали выдающуюся способность соединять визуальное восприятие и текстовые рассуждения, обеспечивая понимание с нулевым обучением (zero-shot) в различных промышленных сценариях. Однако их эффективность в обнаружении промышленных аномалий с открытым словарем (IAD) часто ограничена рассуждениями, не согласованными с предметной областью, и галлюцинированными структурными выводами. Для решения этих проблем мы предлагаем IndusAgent — агентную структуру с инструментальной поддержкой для обнаружения аномалий с открытым словарем. В частности, мы сначала создаем Indus-CoT — структурированный набор данных, который объединяет глобальные визуальные наблюдения, локальные фрагменты высокого разрешения и априорные представления экспертов о норме, обеспечивая обучение модели на строгих траекториях промышленного контроля. Основываясь на этом, IndusAgent динамически координирует набор внешних инструментов, включая динамическое вырезание областей, улучшение высокочастотных признаков и поиск априорных данных, что позволяет агенту активно разрешать визуальные неоднозначности и распутывать тонкие аномалии. Кроме того, мы вводим гейтированную цель обучения с подкреплением, которая совместно оптимизирует классификацию аномалий, точность локализации, определение типа аномалии и эффективное использование инструментов, обеспечивая вызов инструментов только тогда, когда это полезно. Обширные оценки на пяти эталонных наборах промышленных аномалий, включая MVTec-AD, VisA, MPDD, DTD и SDD, показывают, что IndusAgent достигает передового уровня производительности zero-shot среди всех существующих методов, что подтверждает нашу робастность и способность к обобщению.

English

Multimodal large language models (MLLMs) have shown remarkable capability in bridging visual perception and textual reasoning, enabling zero-shot understanding across diverse industrial scenarios. However, their performance in open-vocabulary industrial anomaly detection (IAD) is often limited by domain-misaligned reasoning and hallucinated structural inferences. To address these challenges, we propose IndusAgent, a tool-augmented agentic framework for open-vocabulary IAD. Specifically, we first construct Indus-CoT, a structured dataset that integrates global visual observations, high-resolution local patches, and expert normalcy priors, providing supervision for fine-tuning the model on rigorous industrial inspection trajectories. Building on this, IndusAgent dynamically orchestrates a set of external tools, including dynamic region cropping, high-frequency feature enhancement, and prior retrieval, thus enabling the agent to actively resolve visual ambiguities and disentangle subtle anomalies. Furthermore, we introduce a gated reinforcement learning objective that jointly optimizes anomaly classification, localization accuracy, anomaly type reasoning, and efficient tool usage, ensuring that tool invocation occurs only when beneficial. Extensive evaluations on five industrial anomaly benchmarks, including MVTec-AD, VisA, MPDD, DTD, and SDD, demonstrate that IndusAgent achieves state-of-the-art zero-shot performance among all existing methods, validating our robustness and generalization capacity.