Vers une réidentification visuelle des poissons par classification fine-granularité pour la surveillance électronique des pêches

Towards Visual Re-Identification of Fish using Fine-Grained Classification for Electronic Monitoring in Fisheries

December 9, 2025

papers.authors: Samitha Nuwan Thilakarathna, Ercan Avsar, Martin Mathias Nielsen, Malte Pedersen

cs.AI

papers.abstract

Les données halieutiques précises sont cruciales pour une gestion efficace et durable des ressources marines. Avec l'adoption récente des systèmes de surveillance électronique (EM), davantage de données vidéo sont désormais collectées qu'il n'est possible d'en examiner manuellement. Cet article relève ce défi en développant un pipeline d'apprentissage profond optimisé pour la ré-identification automatisée des poissons (Re-ID) en utilisant le nouvel ensemble de données AutoFish, qui simule des systèmes EM avec convoyeurs et six espèces de poissons d'apparence similaire. Nous démontrons que les métriques clés de Re-ID (R1 et mAP@k) sont substantiellement améliorées par l'utilisation du *hard triplet mining* conjointement avec un pipeline de transformation d'images personnalisé incluant une normalisation spécifique à l'ensemble de données. En employant ces stratégies, nous montrons que l'architecture Swin-T, basée sur le Vision Transformer, surpasse constamment l'architecture ResNet-50, basée sur un réseau de neurones convolutifs, atteignant des performances maximales de 41,65 % pour mAP@k et 90,43 % pour la précision Rank-1. Une analyse approfondie révèle que le principal défi consiste à distinguer visuellement les individus similaires d'une même espèce (erreurs intra-espèces), où l'incohérence du point de vue s'avère nettement plus préjudiciable que l'occlusion partielle. Le code source et la documentation sont disponibles à l'adresse : https://github.com/msamdk/Fish_Re_Identification.git

English

Accurate fisheries data are crucial for effective and sustainable marine resource management. With the recent adoption of Electronic Monitoring (EM) systems, more video data is now being collected than can be feasibly reviewed manually. This paper addresses this challenge by developing an optimized deep learning pipeline for automated fish re-identification (Re-ID) using the novel AutoFish dataset, which simulates EM systems with conveyor belts with six similarly looking fish species. We demonstrate that key Re-ID metrics (R1 and mAP@k) are substantially improved by using hard triplet mining in conjunction with a custom image transformation pipeline that includes dataset-specific normalization. By employing these strategies, we demonstrate that the Vision Transformer-based Swin-T architecture consistently outperforms the Convolutional Neural Network-based ResNet-50, achieving peak performance of 41.65% mAP@k and 90.43% Rank-1 accuracy. An in-depth analysis reveals that the primary challenge is distinguishing visually similar individuals of the same species (Intra-species errors), where viewpoint inconsistency proves significantly more detrimental than partial occlusion. The source code and documentation are available at: https://github.com/msamdk/Fish_Re_Identification.git