PAI-Bench: Ein umfassender Benchmark für Physical AI
PAI-Bench: A Comprehensive Benchmark For Physical AI
December 1, 2025
papers.authors: Fengzhe Zhou, Jiannan Huang, Jialuo Li, Deva Ramanan, Humphrey Shi
cs.AI
papers.abstract
Physical AI zielt darauf ab, Modelle zu entwickeln, die reale physikalische Dynamiken wahrnehmen und vorhersagen können; dennoch ist das Ausmaß, in dem aktuelle multimodale Large Language Models und generative Videomodelle diese Fähigkeiten unterstützen, unzureichend verstanden. Wir stellen Physical AI Bench (PAI-Bench) vor, einen vereinheitlichten und umfassenden Benchmark, der Wahrnehmungs- und Vorhersagefähigkeiten in den Bereichen Videogenerierung, konditionale Videogenerierung und Videoverständnis evaluiert. Dieser besteht aus 2.808 realen Fällen mit aufgabenspezifischen Metriken, die entwickelt wurden, um physikalische Plausibilität und domänenspezifisches Schlussfolgern zu erfassen. Unsere Studie bietet eine systematische Bewertung aktueller Modelle und zeigt, dass generative Videomodelle trotz hoher visueller Qualität oft Schwierigkeiten haben, physikalisch kohärente Dynamiken beizubehalten, während multimodale Large Language Models begrenzte Leistungen in der Vorhersage und kausalen Interpretation zeigen. Diese Beobachtungen deuten darauf hin, dass sich aktuelle Systeme noch in einem frühen Stadium befinden, um den wahrnehmungsbezogenen und vorhersagenden Anforderungen von Physical AI gerecht zu werden. Zusammenfassend etabliert PAI-Bench eine realistische Grundlage für die Bewertung von Physical AI und identifiziert wesentliche Lücken, die zukünftige Systeme adressieren müssen.
English
Physical AI aims to develop models that can perceive and predict real-world dynamics; yet, the extent to which current multi-modal large language models and video generative models support these abilities is insufficiently understood. We introduce Physical AI Bench (PAI-Bench), a unified and comprehensive benchmark that evaluates perception and prediction capabilities across video generation, conditional video generation, and video understanding, comprising 2,808 real-world cases with task-aligned metrics designed to capture physical plausibility and domain-specific reasoning. Our study provides a systematic assessment of recent models and shows that video generative models, despite strong visual fidelity, often struggle to maintain physically coherent dynamics, while multi-modal large language models exhibit limited performance in forecasting and causal interpretation. These observations suggest that current systems are still at an early stage in handling the perceptual and predictive demands of Physical AI. In summary, PAI-Bench establishes a realistic foundation for evaluating Physical AI and highlights key gaps that future systems must address.