VisText-Mosquito: Een multimodale dataset en benchmark voor AI-gestuurde detectie en redenering van muggenbroedplaatsen
VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning
June 17, 2025
Auteurs: Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Muhammad Ziaur Rahman, Shahanur Rahman Bappy, Raiyan Rahman, Swakkhar Shatabda
cs.AI
Samenvatting
Door muggen overgedragen ziekten vormen een groot wereldwijd gezondheidsrisico, waarvoor vroegtijdige detectie en proactieve bestrijding van broedplaatsen essentieel zijn om uitbraken te voorkomen. In dit artikel presenteren we VisText-Mosquito, een multimodale dataset die visuele en tekstuele gegevens integreert om geautomatiseerde detectie, segmentatie en redenering voor de analyse van muggenbroedplaatsen te ondersteunen. De dataset omvat 1.828 geannoteerde afbeeldingen voor objectdetectie, 142 afbeeldingen voor segmentatie van wateroppervlakken en natuurlijke taalredeneringsteksten die aan elke afbeelding zijn gekoppeld. Het YOLOv9s-model behaalt de hoogste precisie van 0,92926 en een mAP@50 van 0,92891 voor objectdetectie, terwijl YOLOv11n-Seg een segmentatieprecisie van 0,91587 en een mAP@50 van 0,79795 bereikt. Voor het genereren van redeneringen bereikt ons fijn afgestemde BLIP-model een eindverlies van 0,0028, met een BLEU-score van 54,7, een BERTScore van 0,91 en een ROUGE-L van 0,87. Deze dataset en modelbenadrukken het thema "Voorkomen is beter dan genezen", en laten zien hoe AI-gestuurde detectie proactief kan bijdragen aan het verminderen van risico's op door muggen overgedragen ziekten. De dataset en implementatiecode zijn openbaar beschikbaar op GitHub: https://github.com/adnanul-islam-jisun/VisText-Mosquito.
English
Mosquito-borne diseases pose a major global health risk, requiring early
detection and proactive control of breeding sites to prevent outbreaks. In this
paper, we present VisText-Mosquito, a multimodal dataset that integrates visual
and textual data to support automated detection, segmentation, and reasoning
for mosquito breeding site analysis. The dataset includes 1,828 annotated
images for object detection, 142 images for water surface segmentation, and
natural language reasoning texts linked to each image. The YOLOv9s model
achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object
detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and
mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves
a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and
ROUGE-L of 0.87. This dataset and model framework emphasize the theme
"Prevention is Better than Cure", showcasing how AI-based detection can
proactively address mosquito-borne disease risks. The dataset and
implementation code are publicly available at GitHub:
https://github.com/adnanul-islam-jisun/VisText-Mosquito