Улучшилась ли ваша предобученная модель? Подход на основе многоголового апостериорного распределения

Аннотация

Появление предобученных моделей существенно повлияло на различные области, от обработки естественного языка (NLP) и компьютерного зрения до работы с реляционными наборами данных. Традиционно такие модели оцениваются через тонкую настройку на последующих задачах. Однако это поднимает вопрос о том, как оценивать эти модели более эффективно и результативно. В данном исследовании мы изучаем новый подход, в котором используем мета-признаки, связанные с каждой сущностью, как источник знаний о мире, а также применяем представления сущностей, полученные из моделей. Мы предлагаем использовать согласованность между этими представлениями и мета-признаками в качестве метрики для оценки предобученных моделей. Эффективность нашего метода демонстрируется в различных областях, включая модели с реляционными наборами данных, крупные языковые модели и модели для работы с изображениями.

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.

Улучшилась ли ваша предобученная модель? Подход на основе многоголового апостериорного распределения

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

Аннотация

Support