OPERA: 범용 생의학 이미지 분석을 위한 오프라인 정책 기반 전문가 라우팅 및 적응

초록

생체의료 영상 분석은 다양한 모달리티와 작업을 포괄하지만, 실제 환경에서의 배포는 스캐너, 프로토콜 및 환자 집단 간의 심각한 분포 변화로 인해 어려움을 겪습니다. 따라서 고성능 모델은 도메인별 미세 조정을 반복적으로 필요로 하며, 이는 비용이 많이 드는 과정으로, 레이블이 부족하거나 개인정보 보호 제약으로 인해 데이터 공유가 제한되는 경우 비현실적입니다. 본 논문에서는 OPERA(오프라인 정책 기반 전문가 라우팅 및 적응)를 제안합니다. 이는 다중 에이전트 앙상블 프레임워크로, 전문가 가중치 할당을 오프라인 정책 학습 문제로 처리하여 배포 병목 현상을 해결합니다. 즉, 소규모 검증 세트로부터 어떤 전문가 에이전트에도 그래디언트 업데이트 없이 라우팅 정책을 학습하고, 테스트 시간 적응을 통해 분포 변화에 대처합니다. OPERA는 상호 보완적 메커니즘을 통해 이질적인 전문가 에이전트들을 조정합니다. 전문가 프로파일링 모듈은 오프라인에서 선택 정책을 학습하여 정보에 기반한 전문성 할당을 가능하게 합니다. 각 에이전트는 온도 조정을 통한 신뢰도 보정을 거쳐 더 신뢰할 수 있는 확률적 출력을 보장합니다. OPERA는 또한 분포 인식 적응을 통합하여, 레이블이 없는 테스트 데이터에서 도출된 통계를 사용해 배치 수준에서 클래스 가중치를 동적으로 조정합니다. 인스턴스 수준 라우팅은 모델 간 일치도와 예측 엔트로피를 활용하여 각 샘플을 가장 적합한 전문가에게 할당합니다. 본 논문은 안저 사진, 흉부 X-선, CT, MRI 및 다중 모달 진단 벤치마크를 포함한 9개의 데이터셋에서 OPERA를 평가하고, 분류, 분할 및 다중 모달 설정에서 30개 이상의 기준선과 비교합니다. OPERA는 성능과 보정 품질을 일관되게 개선하여, 오프라인 정책 기반 전문가 에이전트 조정이 재학습 없이도 배포 가능한 생체의료 AI를 위한 실용적인 경로임을 입증합니다. 코드는 https://github.com/HUANGLIZI/OPERA{GitHub}에서 확인할 수 있습니다.

English

Biomedical image analysis spans diverse modalities and tasks, yet real-world deployment is hindered by severe distribution shifts across scanners, protocols, and patient populations. High-performing models consequently require repeated domain-specific fine-tuning, which is a costly cycle that becomes impractical when labels are scarce or privacy constraints limit data sharing. We propose OPERA (Offline Policy-guided Expert Routing and Adaptation), a multi-agent ensemble framework that addresses this deployment bottleneck by treating expert weight assignment as an offline policy learning problem: a routing policy is learned from a small validation set without gradient updates to any expert agent, then deployed with test-time adaptation to handle distribution shift. OPERA coordinates heterogeneous specialist agents through complementary mechanisms. The expert profiling module learns selection policies offline, enabling informed allocation of expertise. Each agent undergoes confidence calibration through temperature adjustment, ensuring more reliable probabilistic outputs. OPERA also incorporates distribution aware adaptation, where class weights are dynamically adjusted at the batch level using statistics derived from unlabeled test data. Instance level routing assigns each sample to the most suitable expert by leveraging inter model agreement and predictive entropy. We evaluate OPERA on 9 datasets covering fundus photography, chest X-ray, CT, MRI, and multimodal diagnostic benchmarks, comparing against 30+ baselines across classification, segmentation, and multimodal settings. OPERA consistently improves performance and calibration quality, demonstrating that offline policy-guided expert agents coordination is a practical path to deployable biomedical AI without retraining. Code is on https://github.com/HUANGLIZI/OPERA{GitHub}.