VisText-Mosquito: Un Dataset Multimodale e un Benchmark per il Rilevamento e il Ragionamento Basati sull'Intelligenza Artificiale dei Siti di Riproduzione delle Zanzare
VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning
June 17, 2025
Autori: Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Muhammad Ziaur Rahman, Shahanur Rahman Bappy, Raiyan Rahman, Swakkhar Shatabda
cs.AI
Abstract
Le malattie trasmesse dalle zanzare rappresentano un grave rischio per la salute globale, richiedendo il rilevamento precoce e il controllo proattivo dei siti di riproduzione per prevenire focolai. In questo articolo, presentiamo VisText-Mosquito, un dataset multimodale che integra dati visivi e testuali per supportare il rilevamento automatico, la segmentazione e il ragionamento nell'analisi dei siti di riproduzione delle zanzare. Il dataset include 1.828 immagini annotate per il rilevamento di oggetti, 142 immagini per la segmentazione della superficie dell'acqua e testi di ragionamento in linguaggio naturale associati a ciascuna immagine. Il modello YOLOv9s raggiunge la massima precisione di 0,92926 e una mAP@50 di 0,92891 per il rilevamento di oggetti, mentre YOLOv11n-Seg ottiene una precisione di segmentazione di 0,91587 e una mAP@50 di 0,79795. Per la generazione del ragionamento, il nostro modello BLIP fine-tuned raggiunge una perdita finale di 0,0028, con un punteggio BLEU di 54,7, un BERTScore di 0,91 e un ROUGE-L di 0,87. Questo dataset e il framework del modello enfatizzano il tema "Prevenire è meglio che curare", dimostrando come il rilevamento basato sull'IA possa affrontare proattivamente i rischi delle malattie trasmesse dalle zanzare. Il dataset e il codice di implementazione sono disponibili pubblicamente su GitHub: https://github.com/adnanul-islam-jisun/VisText-Mosquito
English
Mosquito-borne diseases pose a major global health risk, requiring early
detection and proactive control of breeding sites to prevent outbreaks. In this
paper, we present VisText-Mosquito, a multimodal dataset that integrates visual
and textual data to support automated detection, segmentation, and reasoning
for mosquito breeding site analysis. The dataset includes 1,828 annotated
images for object detection, 142 images for water surface segmentation, and
natural language reasoning texts linked to each image. The YOLOv9s model
achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object
detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and
mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves
a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and
ROUGE-L of 0.87. This dataset and model framework emphasize the theme
"Prevention is Better than Cure", showcasing how AI-based detection can
proactively address mosquito-borne disease risks. The dataset and
implementation code are publicly available at GitHub:
https://github.com/adnanul-islam-jisun/VisText-Mosquito