Vraag Me Alles

Task Me Anything

June 17, 2024

Auteurs: Jieyu Zhang, Weikai Huang, Zixian Ma, Oscar Michel, Dong He, Tanmay Gupta, Wei-Chiu Ma, Ali Farhadi, Aniruddha Kembhavi, Ranjay Krishna

cs.AI

Samenvatting

Benchmarks voor grote multimodale taalmodellen (MLM's) dienen nu om de algemene capaciteiten van modellen tegelijkertijd te beoordelen in plaats van te evalueren voor een specifieke vaardigheid. Hierdoor worden ontwikkelaars die willen bepalen welke modellen ze voor hun toepassing moeten gebruiken, overweldigd door het aantal benchmarks en blijven ze onzeker over welke benchmarkresultaten het meest representatief zijn voor hun specifieke use case. Dit artikel introduceert Task-Me-Anything, een benchmarkgeneratie-engine die een benchmark produceert die is afgestemd op de behoeften van een gebruiker. Task-Me-Anything onderhoudt een uitbreidbare taxonomie van visuele assets en kan programmatisch een groot aantal taakinstanties genereren. Daarnaast behandelt het algoritmisch gebruikersvragen over MLM-prestaties efficiënt binnen een computationeel budget. Het bevat 113K afbeeldingen, 10K video's, 2K 3D-objectassets, meer dan 365 objectcategorieën, 655 attributen en 335 relaties. Het kan 750M afbeelding-/video-vraag-antwoordparen genereren, die gericht zijn op het evalueren van de perceptuele capaciteiten van MLM's. Task-Me-Anything onthult kritieke inzichten: open-source MLM's blinken uit in object- en attribuutherkenning maar hebben moeite met ruimtelijk en temporeel begrip; elk model vertoont unieke sterke en zwakke punten; grotere modellen presteren over het algemeen beter, hoewel uitzonderingen bestaan; en GPT4o toont uitdagingen in het herkennen van roterende/bewegende objecten en het onderscheiden van kleuren.

English

Benchmarks for large multimodal language models (MLMs) now serve to simultaneously assess the general capabilities of models instead of evaluating for a specific capability. As a result, when a developer wants to identify which models to use for their application, they are overwhelmed by the number of benchmarks and remain uncertain about which benchmark's results are most reflective of their specific use case. This paper introduces Task-Me-Anything, a benchmark generation engine which produces a benchmark tailored to a user's needs. Task-Me-Anything maintains an extendable taxonomy of visual assets and can programmatically generate a vast number of task instances. Additionally, it algorithmically addresses user queries regarding MLM performance efficiently within a computational budget. It contains 113K images, 10K videos, 2K 3D object assets, over 365 object categories, 655 attributes, and 335 relationships. It can generate 750M image/video question-answering pairs, which focus on evaluating MLM perceptual capabilities. Task-Me-Anything reveals critical insights: open-source MLMs excel in object and attribute recognition but lack spatial and temporal understanding; each model exhibits unique strengths and weaknesses; larger models generally perform better, though exceptions exist; and GPT4o demonstrates challenges in recognizing rotating/moving objects and distinguishing colors.