漁業における電子モニタリングのための細粒度分類を用いた魚類の視覚的再識別に向けて

要旨

正確な漁業データは、効果的かつ持続可能な海洋資源管理において極めて重要である。近年導入された電子監視（EM）システムにより、手動での審査が非現実的なほど大量の映像データが収集されるようになった。本論文は、コンベアベルトを備えたEMシステムを模倣し、外見が類似する6魚種を含む新しいデータセットAutoFishを用いて、自動的な魚類個体再識別（Re-ID）のための最適化された深層学習パイプラインを開発し、この課題に取り組む。データセット固有の正規化を含むカスタム画像変換パイプラインとハードトリプルマイニングを併用することで、主要なRe-ID指標（R1およびmAP@k）が大幅に改善されることを実証する。これらの戦略を用いることで、Vision TransformerベースのSwin-Tアーキテクチャが、畳み込みニューラルネットワークベースのResNet-50を一貫して上回り、41.65%のmAP@kと90.43%のRank-1精度という最高性能を達成することを示す。詳細な分析により、視覚的に類似した同一種個体の識別（種内誤差）が主要な課題であり、部分的なオクルージョンよりも視点の不一致が結果に遥かに大きな悪影響を及ぼすことが明らかになった。ソースコードとドキュメントは以下で公開されている：https://github.com/msamdk/Fish_Re_Identification.git

English

Accurate fisheries data are crucial for effective and sustainable marine resource management. With the recent adoption of Electronic Monitoring (EM) systems, more video data is now being collected than can be feasibly reviewed manually. This paper addresses this challenge by developing an optimized deep learning pipeline for automated fish re-identification (Re-ID) using the novel AutoFish dataset, which simulates EM systems with conveyor belts with six similarly looking fish species. We demonstrate that key Re-ID metrics (R1 and mAP@k) are substantially improved by using hard triplet mining in conjunction with a custom image transformation pipeline that includes dataset-specific normalization. By employing these strategies, we demonstrate that the Vision Transformer-based Swin-T architecture consistently outperforms the Convolutional Neural Network-based ResNet-50, achieving peak performance of 41.65% mAP@k and 90.43% Rank-1 accuracy. An in-depth analysis reveals that the primary challenge is distinguishing visually similar individuals of the same species (Intra-species errors), where viewpoint inconsistency proves significantly more detrimental than partial occlusion. The source code and documentation are available at: https://github.com/msamdk/Fish_Re_Identification.git

漁業における電子モニタリングのための細粒度分類を用いた魚類の視覚的再識別に向けて

Towards Visual Re-Identification of Fish using Fine-Grained Classification for Electronic Monitoring in Fisheries

要旨

Support