К визуальной реидентификации рыб с использованием тонкой классификации для электронного мониторинга в рыболовстве

Towards Visual Re-Identification of Fish using Fine-Grained Classification for Electronic Monitoring in Fisheries

December 9, 2025

Авторы: Samitha Nuwan Thilakarathna, Ercan Avsar, Martin Mathias Nielsen, Malte Pedersen

cs.AI

Аннотация

Точные данные о рыболовстве имеют решающее значение для эффективного и устойчивого управления морскими ресурсами. С недавним внедрением систем электронного мониторинга (ЭМ) собирается больше видеоданных, чем можно реалистично просмотреть вручную. В данной статье решается эта проблема путем разработки оптимизированного конвейера глубокого обучения для автоматизированной повторной идентификации (Re-ID) рыб с использованием нового набора данных AutoFish, который имитирует системы ЭМ с конвейерными лентами и шестью внешне схожими видами рыб. Мы показываем, что ключевые метрики Re-ID (R1 и mAP@k) существенно улучшаются за счет использования трюка с выбором сложных троек (hard triplet mining) в сочетании с пользовательским конвейером преобразования изображений, включающим нормализацию, специфичную для набора данных. Применяя эти стратегии, мы демонстрируем, что архитектура Swin-T на основе Vision Transformer последовательно превосходит ResNet-50 на основе сверточной нейронной сети, достигая пиковой производительности в 41,65% mAP@k и 90,43% точности Rank-1. Глубокий анализ показывает, что основная трудность заключается в различении визуально схожих особей одного вида (внутривидовые ошибки), где несоответствие углов обзора оказывается значительно более пагубным, чем частичная окклюзия. Исходный код и документация доступны по адресу: https://github.com/msamdk/Fish_Re_Identification.git

English

Accurate fisheries data are crucial for effective and sustainable marine resource management. With the recent adoption of Electronic Monitoring (EM) systems, more video data is now being collected than can be feasibly reviewed manually. This paper addresses this challenge by developing an optimized deep learning pipeline for automated fish re-identification (Re-ID) using the novel AutoFish dataset, which simulates EM systems with conveyor belts with six similarly looking fish species. We demonstrate that key Re-ID metrics (R1 and mAP@k) are substantially improved by using hard triplet mining in conjunction with a custom image transformation pipeline that includes dataset-specific normalization. By employing these strategies, we demonstrate that the Vision Transformer-based Swin-T architecture consistently outperforms the Convolutional Neural Network-based ResNet-50, achieving peak performance of 41.65% mAP@k and 90.43% Rank-1 accuracy. An in-depth analysis reveals that the primary challenge is distinguishing visually similar individuals of the same species (Intra-species errors), where viewpoint inconsistency proves significantly more detrimental than partial occlusion. The source code and documentation are available at: https://github.com/msamdk/Fish_Re_Identification.git