VisText-Mosquito : Un ensemble de données multimodal et un benchmark pour la détection et le raisonnement basés sur l'IA des sites de reproduction des moustiques
VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning
June 17, 2025
Auteurs: Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Muhammad Ziaur Rahman, Shahanur Rahman Bappy, Raiyan Rahman, Swakkhar Shatabda
cs.AI
Résumé
Les maladies transmises par les moustiques représentent un risque majeur pour la santé mondiale, nécessitant une détection précoce et un contrôle proactif des sites de reproduction pour prévenir les épidémies. Dans cet article, nous présentons VisText-Mosquito, un ensemble de données multimodal qui intègre des données visuelles et textuelles pour soutenir la détection automatisée, la segmentation et le raisonnement dans l'analyse des sites de reproduction des moustiques. L'ensemble de données comprend 1 828 images annotées pour la détection d'objets, 142 images pour la segmentation de la surface de l'eau, et des textes de raisonnement en langage naturel associés à chaque image. Le modèle YOLOv9s atteint la plus haute précision de 0,92926 et un mAP@50 de 0,92891 pour la détection d'objets, tandis que YOLOv11n-Seg atteint une précision de segmentation de 0,91587 et un mAP@50 de 0,79795. Pour la génération de raisonnement, notre modèle BLIP affiné atteint une perte finale de 0,0028, avec un score BLEU de 54,7, un BERTScore de 0,91 et un ROUGE-L de 0,87. Cet ensemble de données et ce cadre de modélisation mettent en avant le thème "Mieux vaut prévenir que guérir", illustrant comment la détection basée sur l'IA peut aborder de manière proactive les risques de maladies transmises par les moustiques. L'ensemble de données et le code d'implémentation sont disponibles publiquement sur GitHub : https://github.com/adnanul-islam-jisun/VisText-Mosquito.
English
Mosquito-borne diseases pose a major global health risk, requiring early
detection and proactive control of breeding sites to prevent outbreaks. In this
paper, we present VisText-Mosquito, a multimodal dataset that integrates visual
and textual data to support automated detection, segmentation, and reasoning
for mosquito breeding site analysis. The dataset includes 1,828 annotated
images for object detection, 142 images for water surface segmentation, and
natural language reasoning texts linked to each image. The YOLOv9s model
achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object
detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and
mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves
a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and
ROUGE-L of 0.87. This dataset and model framework emphasize the theme
"Prevention is Better than Cure", showcasing how AI-based detection can
proactively address mosquito-borne disease risks. The dataset and
implementation code are publicly available at GitHub:
https://github.com/adnanul-islam-jisun/VisText-Mosquito