VisText-Mosquito: Um Conjunto de Dados Multimodal e Benchmark para Detecção e Raciocínio Baseado em IA de Locais de Procriação de Mosquitos
VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning
June 17, 2025
Autores: Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Muhammad Ziaur Rahman, Shahanur Rahman Bappy, Raiyan Rahman, Swakkhar Shatabda
cs.AI
Resumo
As doenças transmitidas por mosquitos representam um grande risco global à saúde, exigindo detecção precoce e controle proativo de criadouros para prevenir surtos. Neste artigo, apresentamos o VisText-Mosquito, um conjunto de dados multimodal que integra dados visuais e textuais para apoiar a detecção automatizada, segmentação e raciocínio para análise de criadouros de mosquitos. O conjunto de dados inclui 1.828 imagens anotadas para detecção de objetos, 142 imagens para segmentação de superfície de água e textos de raciocínio em linguagem natural vinculados a cada imagem. O modelo YOLOv9s alcança a maior precisão de 0,92926 e mAP@50 de 0,92891 para detecção de objetos, enquanto o YOLOv11n-Seg atinge uma precisão de segmentação de 0,91587 e mAP@50 de 0,79795. Para geração de raciocínio, nosso modelo BLIP ajustado alcança uma perda final de 0,0028, com pontuação BLEU de 54,7, BERTScore de 0,91 e ROUGE-L de 0,87. Este conjunto de dados e estrutura de modelo enfatizam o tema "Prevenir é Melhor que Remediar", demonstrando como a detecção baseada em IA pode abordar proativamente os riscos de doenças transmitidas por mosquitos. O conjunto de dados e o código de implementação estão disponíveis publicamente no GitHub: https://github.com/adnanul-islam-jisun/VisText-Mosquito
English
Mosquito-borne diseases pose a major global health risk, requiring early
detection and proactive control of breeding sites to prevent outbreaks. In this
paper, we present VisText-Mosquito, a multimodal dataset that integrates visual
and textual data to support automated detection, segmentation, and reasoning
for mosquito breeding site analysis. The dataset includes 1,828 annotated
images for object detection, 142 images for water surface segmentation, and
natural language reasoning texts linked to each image. The YOLOv9s model
achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object
detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and
mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves
a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and
ROUGE-L of 0.87. This dataset and model framework emphasize the theme
"Prevention is Better than Cure", showcasing how AI-based detection can
proactively address mosquito-borne disease risks. The dataset and
implementation code are publicly available at GitHub:
https://github.com/adnanul-islam-jisun/VisText-Mosquito