PAI-Bench: Un Benchmark Completo per l'Intelligenza Artificiale Fisica
PAI-Bench: A Comprehensive Benchmark For Physical AI
December 1, 2025
Autori: Fengzhe Zhou, Jiannan Huang, Jialuo Li, Deva Ramanan, Humphrey Shi
cs.AI
Abstract
L'Intelligenza Artificiale Fisica (Physical AI) mira a sviluppare modelli in grado di percepire e prevedere le dinamiche del mondo reale; tuttavia, la misura in cui gli attuali modelli linguistici di grandi dimensioni multimodali e i modelli generativi video supportino queste capacità non è ancora sufficientemente compresa. Introduciamo Physical AI Bench (PAI-Bench), un benchmark unificato e completo che valuta le capacità di percezione e previsione attraverso la generazione video, la generazione video condizionata e la comprensione video, comprendendo 2.808 casi del mondo reale con metriche allineate al compito progettate per catturare la plausibilità fisica e il ragionamento dominio-specifico. Il nostro studio fornisce una valutazione sistematica dei modelli recenti e mostra che i modelli generativi video, nonostante un'elevata fedeltà visiva, spesso faticano a mantenere dinamiche fisicamente coerenti, mentre i modelli linguistici di grandi dimensioni multimodali mostrano prestazioni limitate nella previsione e nell'interpretazione causale. Queste osservazioni suggeriscono che i sistemi attuali si trovano ancora in una fase iniziale nella gestione delle richieste percettive e predittive dell'Intelligenza Artificiale Fisica. In sintesi, PAI-Bench stabilisce una base realistica per valutare l'Intelligenza Artificiale Fisica ed evidenzia le lacune chiave che i sistemi futuri dovranno colmare.
English
Physical AI aims to develop models that can perceive and predict real-world dynamics; yet, the extent to which current multi-modal large language models and video generative models support these abilities is insufficiently understood. We introduce Physical AI Bench (PAI-Bench), a unified and comprehensive benchmark that evaluates perception and prediction capabilities across video generation, conditional video generation, and video understanding, comprising 2,808 real-world cases with task-aligned metrics designed to capture physical plausibility and domain-specific reasoning. Our study provides a systematic assessment of recent models and shows that video generative models, despite strong visual fidelity, often struggle to maintain physically coherent dynamics, while multi-modal large language models exhibit limited performance in forecasting and causal interpretation. These observations suggest that current systems are still at an early stage in handling the perceptual and predictive demands of Physical AI. In summary, PAI-Bench establishes a realistic foundation for evaluating Physical AI and highlights key gaps that future systems must address.