Vidu S1: een real-time interactief videogeneratiemodel

Samenvatting

We introduceren Vidu S1, een real-time interactief videogeneratiemodel dat spraakbesturing van digitale personages ondersteunt. Gebruikers kunnen op elk moment de inhoud van videogeneratie sturen via spraakopdrachten. Vidu S1 ondersteunt oneindig lange real-time videogeneratie zonder vervaging, afwijking of visuele vervorming. Gebouwd met TurboDiffusion en TurboServe, levert Vidu S1 540p real-time video's met tot 42 FPS op gewone consumenten-GPU's. Gebruikers kunnen aangepaste afbeeldingen van echte mensen, anime en huisdieren uploaden, en verschillende stemtonen kiezen voor gepersonaliseerde ervaringen. Experimenten tonen aan dat Vidu S1 de beste prestaties levert op alle testmetrieken, terwijl het volledig voldoet aan real-time inferentievereisten. Een speelbare online demo is beschikbaar op https://vidu.com/vidu-stream.

English

We introduce Vidu S1, a real-time interactive video generation model supporting voice control of digital characters. Users can control video generation content at any moment through voice instructions. Vidu S1 supports infinite-length real-time video generation without blurring, drift, or visual distortion. Built with TurboDiffusion and TurboServe, Vidu S1 outputs 540p real-time videos at up to 42 FPS on regular consumer GPUs. Users can upload custom images of real people, anime, and pets, and choose different voice tones for personalized experiences. Experiments show that Vidu S1 achieves the best performance across all test metrics while fully meeting real-time inference requirements. A playable online demo is available at https://vidu.com/vidu-stream.