VisText-Mosquito: Мультимодальный набор данных и эталон для обнаружения и анализа мест размножения комаров на основе искусственного интеллекта
VisText-Mosquito: A Multimodal Dataset and Benchmark for AI-Based Mosquito Breeding Site Detection and Reasoning
June 17, 2025
Авторы: Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Muhammad Ziaur Rahman, Shahanur Rahman Bappy, Raiyan Rahman, Swakkhar Shatabda
cs.AI
Аннотация
Заболевания, переносимые комарами, представляют собой серьезную глобальную угрозу для здоровья, что требует раннего выявления и активного контроля мест размножения для предотвращения вспышек. В данной статье мы представляем VisText-Mosquito, мультимодальный набор данных, который объединяет визуальную и текстовую информацию для поддержки автоматизированного обнаружения, сегментации и анализа мест размножения комаров. Набор данных включает 1828 аннотированных изображений для обнаружения объектов, 142 изображения для сегментации водной поверхности и тексты на естественном языке, связанные с каждым изображением, для анализа. Модель YOLOv9s демонстрирует наивысшую точность 0,92926 и mAP@50 0,92891 для обнаружения объектов, в то время как YOLOv11n-Seg достигает точности сегментации 0,91587 и mAP@50 0,79795. Для генерации аналитических выводов наша доработанная модель BLIP достигает конечной потери 0,0028 с показателями BLEU 54,7, BERTScore 0,91 и ROUGE-L 0,87. Этот набор данных и модель подчеркивают тему "Профилактика лучше, чем лечение", демонстрируя, как технологии на основе ИИ могут активно снижать риски заболеваний, переносимых комарами. Набор данных и код реализации доступны на GitHub: https://github.com/adnanul-islam-jisun/VisText-Mosquito.
English
Mosquito-borne diseases pose a major global health risk, requiring early
detection and proactive control of breeding sites to prevent outbreaks. In this
paper, we present VisText-Mosquito, a multimodal dataset that integrates visual
and textual data to support automated detection, segmentation, and reasoning
for mosquito breeding site analysis. The dataset includes 1,828 annotated
images for object detection, 142 images for water surface segmentation, and
natural language reasoning texts linked to each image. The YOLOv9s model
achieves the highest precision of 0.92926 and mAP@50 of 0.92891 for object
detection, while YOLOv11n-Seg reaches a segmentation precision of 0.91587 and
mAP@50 of 0.79795. For reasoning generation, our fine-tuned BLIP model achieves
a final loss of 0.0028, with a BLEU score of 54.7, BERTScore of 0.91, and
ROUGE-L of 0.87. This dataset and model framework emphasize the theme
"Prevention is Better than Cure", showcasing how AI-based detection can
proactively address mosquito-borne disease risks. The dataset and
implementation code are publicly available at GitHub:
https://github.com/adnanul-islam-jisun/VisText-Mosquito