Перспективы в интеллектуальной колоноскопии

Frontiers in Intelligent Colonoscopy

October 22, 2024

Авторы: Ge-Peng Ji, Jingyi Liu, Peng Xu, Nick Barnes, Fahad Shahbaz Khan, Salman Khan, Deng-Ping Fan

cs.AI

Аннотация

Колоноскопия в настоящее время является одним из наиболее чувствительных методов скрининга рака толстой кишки. В данном исследовании рассматриваются перспективы интеллектуальных техник колоноскопии и их потенциальные последствия для мультимодальных медицинских приложений. Для достижения этой цели мы начинаем с оценки текущих данных и модельно-центричных пейзажей через четыре задачи для восприятия колоноскопической сцены, включая классификацию, детекцию, сегментацию и понимание зрения-языка. Эта оценка позволяет нам выявить специфические для области вызовы и показывает, что мультимодальные исследования в области колоноскопии остаются открытыми для дальнейшего изучения. Для встречи с наступающей мультимодальной эрой мы устанавливаем три основополагающих инициативы: крупномасштабный мультимодальный набор данных для настройки инструкций ColonINST, мультимодельный языковой модель ColonGPT, разработанный для колоноскопии, и мультимодальный бенчмарк. Для облегчения непрерывного мониторинга этой быстро развивающейся области мы предоставляем публичный веб-сайт для последних обновлений: https://github.com/ai4colonoscopy/IntelliScope.

English

Colonoscopy is currently one of the most sensitive screening methods for colorectal cancer. This study investigates the frontiers of intelligent colonoscopy techniques and their prospective implications for multimodal medical applications. With this goal, we begin by assessing the current data-centric and model-centric landscapes through four tasks for colonoscopic scene perception, including classification, detection, segmentation, and vision-language understanding. This assessment enables us to identify domain-specific challenges and reveals that multimodal research in colonoscopy remains open for further exploration. To embrace the coming multimodal era, we establish three foundational initiatives: a large-scale multimodal instruction tuning dataset ColonINST, a colonoscopy-designed multimodal language model ColonGPT, and a multimodal benchmark. To facilitate ongoing monitoring of this rapidly evolving field, we provide a public website for the latest updates: https://github.com/ai4colonoscopy/IntelliScope.