수산업 전자 모니터링을 위한 세분화된 분류 기반 어류 시각 재식별 기술 연구

초록

정확한 어업 데이터는 효과적이고 지속 가능한 해양 자원 관리에 필수적입니다. 최근 전자 모니터링(EM) 시스템의 도입으로, 수동으로 검토하기에 실질적으로 불가능한 양의 영상 데이터가 수집되고 있습니다. 본 논문은 컨베이어 벨트가 설치된 EM 시스템을 모방하고 외형이 유사한 6종의 어종을 포함하는 새로운 AutoFish 데이터셋을 활용하여, 자동화된 어종 재식별(Re-ID)을 위한 최적화된 딥러닝 파이프라인을 개발함으로써 이 문제를 해결합니다. 데이터셋에 특화된 정규화를 포함한 맞춤형 이미지 변환 파이프라인과 하드 트리플렛 마이닝을 함께 사용하면 핵심 재식별 지표(R1 및 mAP@k)가 크게 향상됨을 보여줍니다. 이러한 전략을 통해 Vision Transformer 기반의 Swin-T 아키텍처가 Convolutional Neural Network 기반의 ResNet-50보다 consistently 우수한 성능을 보이며, mAP@k 41.65%, Rank-1 정확도 90.43%의 최고 성능을 달성함을 입증합니다. 심층 분석 결과, 주요 과제는 동일 종 내에서 시각적으로 유사한 개체를 구별하는 것(종내 오류)이며, 부분 폐색보다 시점 불일치가 성능에 훨씬 더 치명적인 영향을 미치는 것으로 나타났습니다. 소스 코드 및 문서는 https://github.com/msamdk/Fish_Re_Identification.git에서 확인할 수 있습니다.

English

Accurate fisheries data are crucial for effective and sustainable marine resource management. With the recent adoption of Electronic Monitoring (EM) systems, more video data is now being collected than can be feasibly reviewed manually. This paper addresses this challenge by developing an optimized deep learning pipeline for automated fish re-identification (Re-ID) using the novel AutoFish dataset, which simulates EM systems with conveyor belts with six similarly looking fish species. We demonstrate that key Re-ID metrics (R1 and mAP@k) are substantially improved by using hard triplet mining in conjunction with a custom image transformation pipeline that includes dataset-specific normalization. By employing these strategies, we demonstrate that the Vision Transformer-based Swin-T architecture consistently outperforms the Convolutional Neural Network-based ResNet-50, achieving peak performance of 41.65% mAP@k and 90.43% Rank-1 accuracy. An in-depth analysis reveals that the primary challenge is distinguishing visually similar individuals of the same species (Intra-species errors), where viewpoint inconsistency proves significantly more detrimental than partial occlusion. The source code and documentation are available at: https://github.com/msamdk/Fish_Re_Identification.git

수산업 전자 모니터링을 위한 세분화된 분류 기반 어류 시각 재식별 기술 연구

Towards Visual Re-Identification of Fish using Fine-Grained Classification for Electronic Monitoring in Fisheries

초록

Support