VisText-Mosquito: AIに基づく蚊の繁殖地検出と推論のためのマルチモーダルデータセットおよびベンチマーク

要旨

蚊媒介感染症は世界的な健康リスクを引き起こし、発生を防ぐためには早期検出と繁殖地の積極的な管理が求められる。本論文では、蚊の繁殖地分析のための自動検出、セグメンテーション、推論を支援するために視覚的およびテキストデータを統合したマルチモーダルデータセット「VisText-Mosquito」を提案する。このデータセットには、物体検出用の1,828枚の注釈付き画像、水面セグメンテーション用の142枚の画像、および各画像に関連付けられた自然言語推論テキストが含まれている。YOLOv9sモデルは物体検出において最高精度0.92926およびmAP@50で0.92891を達成し、YOLOv11n-Segはセグメンテーション精度0.91587およびmAP@50で0.79795を記録した。推論生成においては、ファインチューニングされたBLIPモデルが最終損失0.0028、BLEUスコア54.7、BERTScore0.91、ROUGE-L0.87を達成した。このデータセットとモデルフレームワークは「予防は治療に勝る」というテーマを強調し、AIベースの検出が蚊媒介感染症リスクに積極的に対処できることを示している。データセットおよび実装コードはGitHubで公開されている：https://github.com/adnanul-islam-jisun/VisText-Mosquito

English

Mosquito-borne diseases pose a major global health risk, requiring early detection and proactive control of breeding sites to prevent outbreaks. In this paper, we present VisText-Mosquito, a multimodal dataset that integrates visual and textual data to support automated detection, segmentation, and reasoning for mosquito breeding site analysis. The dataset includes 1,828 annotated images for object detection, 142 images for water surface segmentation, and natural language reasoning texts linked to each image. The YOLOv9s model achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and ROUGE-L of 0.87. This dataset and model framework emphasize the theme "Prevention is Better than Cure", showcasing how AI-based detection can proactively address mosquito-borne disease risks. The dataset and implementation code are publicly available at GitHub: https://github.com/adnanul-islam-jisun/VisText-Mosquito

VisText-Mosquito: AIに基づく蚊の繁殖地検出と推論のためのマルチモーダルデータセットおよびベンチマーク

VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning

要旨

Support