Frontiere nella Colonscopia Intelligente

Frontiers in Intelligent Colonoscopy

October 22, 2024

Autori: Ge-Peng Ji, Jingyi Liu, Peng Xu, Nick Barnes, Fahad Shahbaz Khan, Salman Khan, Deng-Ping Fan

cs.AI

Abstract

La colonscopia è attualmente uno dei metodi di screening più sensibili per il cancro del colon-retto. Questo studio indaga sulle frontiere delle tecniche intelligenti di colonscopia e sulle loro potenziali implicazioni per le applicazioni mediche multimodali. Con questo obiettivo, iniziamo valutando i paesaggi attuali centrati sui dati e sui modelli attraverso quattro compiti per la percezione della scena colonoscopica, tra cui classificazione, rilevamento, segmentazione e comprensione visione-linguaggio. Questa valutazione ci permette di individuare sfide specifiche del settore e rivela che la ricerca multimodale in colonscopia rimane aperta a ulteriori esplorazioni. Per abbracciare l'era multimodale imminente, istituiamo tre iniziative fondamentali: un ampio dataset di sintonizzazione multimodale delle istruzioni ColonINST, un modello linguistico multimodale progettato per la colonscopia ColonGPT e un benchmark multimodale. Per agevolare il monitoraggio continuo di questo campo in rapida evoluzione, mettiamo a disposizione un sito web pubblico per gli ultimi aggiornamenti: https://github.com/ai4colonoscopy/IntelliScope.

English

Colonoscopy is currently one of the most sensitive screening methods for colorectal cancer. This study investigates the frontiers of intelligent colonoscopy techniques and their prospective implications for multimodal medical applications. With this goal, we begin by assessing the current data-centric and model-centric landscapes through four tasks for colonoscopic scene perception, including classification, detection, segmentation, and vision-language understanding. This assessment enables us to identify domain-specific challenges and reveals that multimodal research in colonoscopy remains open for further exploration. To embrace the coming multimodal era, we establish three foundational initiatives: a large-scale multimodal instruction tuning dataset ColonINST, a colonoscopy-designed multimodal language model ColonGPT, and a multimodal benchmark. To facilitate ongoing monitoring of this rapidly evolving field, we provide a public website for the latest updates: https://github.com/ai4colonoscopy/IntelliScope.