Задавайте мне любые вопросы
Task Me Anything
June 17, 2024
Авторы: Jieyu Zhang, Weikai Huang, Zixian Ma, Oscar Michel, Dong He, Tanmay Gupta, Wei-Chiu Ma, Ali Farhadi, Aniruddha Kembhavi, Ranjay Krishna
cs.AI
Аннотация
Бенчмарки для крупных мультимодальных языковых моделей (MLM) теперь используются для одновременной оценки общих возможностей моделей вместо оценки конкретной способности. В результате, когда разработчику необходимо определить, какие модели использовать для своего приложения, он оказывается подавленным количеством бенчмарков и остаётся неуверенным, результаты какого бенчмарка наиболее отражают их конкретное использование. В данной статье представлен Task-Me-Anything, генератор бенчмарков, который создаёт бенчмарк, адаптированный под нужды пользователя. Task-Me-Anything поддерживает расширяемую таксономию визуальных ресурсов и может программно создавать огромное количество экземпляров задач. Кроме того, он алгоритмически эффективно решает запросы пользователей относительно производительности MLM в рамках выделенного вычислительного бюджета. В нём содержится 113 тыс. изображений, 10 тыс. видео, 2 тыс. 3D объектов, более 365 категорий объектов, 655 атрибутов и 335 отношений. Он способен генерировать 750 млн пар вопрос-ответ по изображениям/видео, которые направлены на оценку восприятия MLM. Task-Me-Anything раскрывает важные идеи: открытые MLM показывают отличные результаты в распознавании объектов и атрибутов, но не хватает пространственного и временного понимания; каждая модель обладает уникальными сильными и слабыми сторонами; более крупные модели, как правило, показывают лучшие результаты, хотя существуют исключения; и GPT4o демонстрирует сложности в распознавании вращающихся/движущихся объектов и различении цветов.
English
Benchmarks for large multimodal language models (MLMs) now serve to
simultaneously assess the general capabilities of models instead of evaluating
for a specific capability. As a result, when a developer wants to identify
which models to use for their application, they are overwhelmed by the number
of benchmarks and remain uncertain about which benchmark's results are most
reflective of their specific use case. This paper introduces Task-Me-Anything,
a benchmark generation engine which produces a benchmark tailored to a user's
needs. Task-Me-Anything maintains an extendable taxonomy of visual assets and
can programmatically generate a vast number of task instances. Additionally, it
algorithmically addresses user queries regarding MLM performance efficiently
within a computational budget. It contains 113K images, 10K videos, 2K 3D
object assets, over 365 object categories, 655 attributes, and 335
relationships. It can generate 750M image/video question-answering pairs, which
focus on evaluating MLM perceptual capabilities. Task-Me-Anything reveals
critical insights: open-source MLMs excel in object and attribute recognition
but lack spatial and temporal understanding; each model exhibits unique
strengths and weaknesses; larger models generally perform better, though
exceptions exist; and GPT4o demonstrates challenges in recognizing
rotating/moving objects and distinguishing colors.