Auf dem Weg zur visuellen Wiedererkennung von Fischen mittels Feinklassifizierung für die elektronische Überwachung in der Fischerei

Towards Visual Re-Identification of Fish using Fine-Grained Classification for Electronic Monitoring in Fisheries

December 9, 2025

papers.authors: Samitha Nuwan Thilakarathna, Ercan Avsar, Martin Mathias Nielsen, Malte Pedersen

cs.AI

papers.abstract

Genau Fischereidaten sind entscheidend für ein effektives und nachhaltiges Management mariner Ressourcen. Durch die zunehmende Einführung von elektronischen Überwachungssystemen (Electronic Monitoring, EM) werden mehr Videodaten erfasst, als manuell ausgewertet werden können. Diese Arbeit stellt sich dieser Herausforderung, indem sie eine optimierte Deep-Learning-Pipeline für die automatische Wiedererkennung von Fischen (Re-Identification, Re-ID) entwickelt, die auf dem neuartigen AutoFish-Datensatz basiert. Dieser simuliert EM-Systeme mit Förderbändern und sechs optisch ähnlichen Fischarten. Wir zeigen, dass wichtige Re-ID-Kennzahlen (R1 und mAP@k) erheblich verbessert werden, indem Hard-Triplet-Mining zusammen mit einer maßgeschneiderten Bildtransformations-Pipeline eingesetzt wird, die eine datensatzspezifische Normalisierung beinhaltet. Durch die Anwendung dieser Strategien demonstrieren wir, dass die auf dem Vision Transformer basierende Swin-T-Architektur durchgängig besser abschneidet als das auf einem Faltungsnetzwerk (CNN) basierende ResNet-50 und Spitzenwerte von 41,65 % mAP@k und 90,43 % Rank-1-Genauigkeit erreicht. Eine eingehende Analyse zeigt, dass die größte Herausforderung in der Unterscheidung optisch ähnlicher Individuen derselben Art liegt (Intra-Spezies-Fehler), wobei sich Inkonsistenzen im Blickwinkel als deutlich hinderlicher erweisen als partielle Verdeckungen. Der Quellcode und die Dokumentation sind verfügbar unter: https://github.com/msamdk/Fish_Re_Identification.git

English

Accurate fisheries data are crucial for effective and sustainable marine resource management. With the recent adoption of Electronic Monitoring (EM) systems, more video data is now being collected than can be feasibly reviewed manually. This paper addresses this challenge by developing an optimized deep learning pipeline for automated fish re-identification (Re-ID) using the novel AutoFish dataset, which simulates EM systems with conveyor belts with six similarly looking fish species. We demonstrate that key Re-ID metrics (R1 and mAP@k) are substantially improved by using hard triplet mining in conjunction with a custom image transformation pipeline that includes dataset-specific normalization. By employing these strategies, we demonstrate that the Vision Transformer-based Swin-T architecture consistently outperforms the Convolutional Neural Network-based ResNet-50, achieving peak performance of 41.65% mAP@k and 90.43% Rank-1 accuracy. An in-depth analysis reveals that the primary challenge is distinguishing visually similar individuals of the same species (Intra-species errors), where viewpoint inconsistency proves significantly more detrimental than partial occlusion. The source code and documentation are available at: https://github.com/msamdk/Fish_Re_Identification.git