Fronteiras em Colonoscopia Inteligente

Frontiers in Intelligent Colonoscopy

October 22, 2024

Autores: Ge-Peng Ji, Jingyi Liu, Peng Xu, Nick Barnes, Fahad Shahbaz Khan, Salman Khan, Deng-Ping Fan

cs.AI

Resumo

A colonoscopia é atualmente um dos métodos de triagem mais sensíveis para o câncer colorretal. Este estudo investiga as fronteiras das técnicas de colonoscopia inteligente e suas possíveis implicações para aplicações médicas multimodais. Com esse objetivo, começamos avaliando os cenários atuais centrados em dados e modelos por meio de quatro tarefas para percepção de cena colonoscópica, incluindo classificação, detecção, segmentação e compreensão visão-linguagem. Essa avaliação nos permite identificar desafios específicos do domínio e revela que a pesquisa multimodal em colonoscopia permanece aberta para exploração adicional. Para abraçar a iminente era multimodal, estabelecemos três iniciativas fundamentais: um grande conjunto de dados de ajuste de instruções multimodal ColonINST, um modelo de linguagem multimodal projetado para colonoscopia ColonGPT e um benchmark multimodal. Para facilitar o monitoramento contínuo desse campo em rápida evolução, fornecemos um site público para as últimas atualizações: https://github.com/ai4colonoscopy/IntelliScope.

English

Colonoscopy is currently one of the most sensitive screening methods for colorectal cancer. This study investigates the frontiers of intelligent colonoscopy techniques and their prospective implications for multimodal medical applications. With this goal, we begin by assessing the current data-centric and model-centric landscapes through four tasks for colonoscopic scene perception, including classification, detection, segmentation, and vision-language understanding. This assessment enables us to identify domain-specific challenges and reveals that multimodal research in colonoscopy remains open for further exploration. To embrace the coming multimodal era, we establish three foundational initiatives: a large-scale multimodal instruction tuning dataset ColonINST, a colonoscopy-designed multimodal language model ColonGPT, and a multimodal benchmark. To facilitate ongoing monitoring of this rapidly evolving field, we provide a public website for the latest updates: https://github.com/ai4colonoscopy/IntelliScope.