Обобщаемое дистилляция знаний от базовых моделей компьютерного зрения для семантической сегментации

Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

March 3, 2026

Авторы: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong

cs.AI

Аннотация

Дистилляция знаний (KD) широко применяется в семантической сегментации для сжатия больших моделей, однако традиционные подходы в основном сохраняют точность внутри домена, пренебрегая обобщающей способностью за его пределами, что критически важно при сдвигах распределения данных. Это ограничение усугубляется с появлением визуальных фундаментальных моделей (VFM): хотя VFM демонстрируют высокую устойчивость на невидимых данных, их дистилляция с помощью традиционной KD часто ослабляет эту способность. Мы предлагаем Обобщаемую Дистилляцию Знаний (GKD) — многоэтапную структуру, которая явно улучшает способность к обобщению. GKD разделяет обучение представлений и обучение решению задачи. На первом этапе студент приобретает доменно-независимые представления посредством селективной дистилляции признаков, а на втором этапе эти представления замораживаются для адаптации к задаче, что позволяет избежать переобучения на видимых доменах. Для дальнейшего поддержания переноса мы вводим механизм мягкой дистилляции на основе запросов, в котором признаки студента выступают в роли запросов к представлениям учителя, чтобы выборочно извлекать переносимое пространственное знание из VFM. Многочисленные эксперименты на пяти бенчмарках обобщения на новые домены показывают, что GKD стабильно превосходит существующие методы KD, достигая в среднем прироста +1.9% в дистилляции «фундаментальная-в-фундаментальную» (F2F) и +10.6% в дистилляции «фундаментальная-в-локальную» (F2L). Код будет доступен по адресу https://github.com/Younger-hua/GKD.

English

Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.