Увидеть иголку в стоге сена: к слабо контролируемой локализации аномалий в экземплярах логов с помощью контрфактического возмущения

Аннотация

Обнаружение аномалий в журналах является критически важной задачей для эксплуатации систем и обеспечения безопасности. Однако в крупномасштабных сетевых системах данные журналов генерируются в огромных объемах, в то время как аннотации на уровне экземпляров имеют запретительно высокую стоимость, что создает значительные трудности для точной локализации аномалий. Для решения этой проблемы мы предлагаем LogMILP (Локализация аномалий в журналах на основе множественного обучения с экземплярами, усиленного прототипами и возмущениями) — слабо контролируемую структуру, которая позволяет одновременно обнаруживать аномалии на уровне пакетов и локализовать аномалии на уровне экземпляров, используя только метки на уровне пакетов. Наш метод направляет модель на выявление критических записей журнала с помощью прототипно-ориентированного структурного моделирования с регуляризацией согласованности контрфактических возмущений, тем самым повышая надежность и интерпретируемость локализации при грубозернистом контроле. Экспериментальные результаты на трех общедоступных наборах данных показывают, что LogMILP достигает конкурентоспособной производительности обнаружения, обеспечивая при этом значительно более надежную локализацию на уровне экземпляров. Наш код находится в открытом доступе по адресу https://github.com/YUK1207/LogMILP.

English

Log anomaly detection is a critical task for system operations and security assurance. However, in networked systems at scale, log data are generated at massive scale while instance-level annotations are prohibitively expensive, posing great difficulties to fine-grained anomaly localization. To address this challenge, we propose LogMILP (Log anomaly localization based on Multi-Instance Learning enhanced by prototypes and Perturbation), a weakly supervised framework that enables both bag-level anomaly detection and instance-level anomaly localization using only bag-level labels. Our method guides the model to pinpoint the critical log entries using prototype-guided structural modeling with counterfactual perturbation consistency regularization, thereby improving localization reliability and interpretability under coarse-grained supervision. Experimental results on three public datasets demonstrate that LogMILP achieves competitive detection performance while yielding significantly more reliable instance-level localization. Our code is open-sourced at https://github.com/YUK1207/LogMILP.