Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Recente vooruitgangen in videobegrip strekken zich uit over beweging, lange video's en streaminteractie, wat dit veld richting praktische toepassingen stuurt. Ondanks deze vooruitgang blijven huidige open-source modellen op verschillende manieren beperkt. Ze hebben vaak moeite om te generaliseren over diverse videotypes, waardoor ze alleen effectief zijn in specifieke domeinen. Hoge rekenkundige eisen beperken verder hun efficiëntie en schaalbaarheid. Bovendien zijn de meeste modellen slechts gedeeltelijk open, waarbij belangrijke componenten zoals trainingscode, strategie of datasets niet beschikbaar zijn, wat reproduceerbaarheid belemmert en de door de gemeenschap gedreven ontwikkeling vertraagt. Om deze problemen aan te pakken, introduceren we VideoChat3, een volledig open, efficiënt en generalistisch video-gecentreerd MLLM. VideoChat3 bevordert videobegrip door twee complementaire ontwerpen. Voor efficiëntie introduceren we Inflated 3D Vision Transformer (I3D-ViT) en Adaptive Frame Resolution for Streaming Video Perception, wat efficiënte spatiotemporele representatie mogelijk maakt en de kosten van het verwerken van video-invoer tijdens training en inferentie verlaagt. Voor effectiviteit ontwikkelen we een schaalbare pijplijn voor videosynthese die drie diverse, hoogwaardige trainingsdatasets samenstelt: VideoChat3-Academic2M, VideoChat3-LV116K en VideoChat3-OL617K, die algemene, lange en streamende videoscenario's bestrijken, wat de generalisatie van het model over domeinen verbetert. Door deze ontwerpen te integreren, bereikt VideoChat3 een zeldzame balans tussen brede generalisatie en computationele efficiëntie. Experimenten over algemene, lange en streamende benchmarks tonen aan dat VideoChat3 eerdere open-source modellen met gelijke of grotere parameteraantallen overtreft met slechts 4B parameters en een hogere efficiëntie.
Grote taalmodellen worden steeds vaker getraind als interactieve agenten voor taken met een lange horizon, waarbij sprake is van interactie met meerdere beurten, toolgebruik en omgevingsfeedback. Op uitkomsten gebaseerd versterkend leren (RL) biedt een praktisch optimalisatieparadigma, maar de schaarse beloningen op trajectniveau geven beperkte sturing voor tussentijdse beslissingen, waardoor er een supervisiekloof ontstaat tussen uitkomsten op episodeniveau en beleidsleren op tokenniveau. Wij stellen SEED (SElf-Evolving On-Policy Distillation) voor, een zelf-evoluerend raamwerk dat voltooide on-policy-trajecten omzet in hindsight-vaardigheden tijdens de training en hun gedragseffect terugdistilleert naar het beleidsmodel. SEED finetunet eerst het beleid om voltooide trajecten te analyseren en natuurlijke-taalvaardigheden te genereren die herbruikbare workflows, beslissende observaties of faalvermijdingsregels vastleggen. Tijdens het RL verzamelt het huidige beleid zowel trajecten als fungeert het als de analyzer die hindsight-vaardigheden uit deze trajecten extraheert. Beleidsupdates verbeteren daardoor zowel het daaropvolgende besluitvormingsproces als de vaardigheidsanalyse, waardoor de hindsight-supervisie met het beleid mee evolueert. Vervolgens herberekent SEED de scores van de bemonsterde acties in gewone en met vaardigheden verrijkte contexten, waarbij de door vaardigheden geïnduceerde kansverschuiving wordt omgezet in een dicht on-policy-distillatiesignaal op tokenniveau. Dit signaal wordt gezamenlijk geoptimaliseerd met het op uitkomsten gebaseerde RL, zodat de aanvullende supervisie blijft aansluiten bij de huidige trajectverdeling. Uitgebreide experimenten op tekstgebaseerde en visiegebaseerde agentische taken tonen aan dat SEED consistent de prestaties en monsterefficiëntie verbetert en robuuste generalisatie vertoont naar ongeziene scenario's. Onze code is beschikbaar op https://github.com/jinyangwu/SEED.
Recente vooruitgang in toolgeïntegreerde grote taalmodellen heeft webzoeken tot een kernfunctionaliteit van informatiezoekende agenten gemaakt. Naarmate interactiegeschiedenissen echter groeien, hebben agenten steeds meer moeite om de taakvoortgang bij te houden. Wanneer zoekpogingen geen nuttig bewijs opleveren, kunnen huidige enkel- en multi-agentsystemen vast komen te zitten in herhalingslussen, waardoor zoekbudgetten worden verspild en uiteindelijk de kwaliteit en volledigheid van de eindoutput worden aangetast. Wij introduceren SearchOS, een multi-agentframework op systeemniveau dat breekbare, impliciete zoekvoortgang omzet in expliciete, persistente en gedeelde toestand. Ten eerste formuleren we open-domein informatie zoeken als relationele schema-aanvulling met onderbouwde citaten, waarbij agenten entiteiten ontdekken, attributen invullen over gekoppelde tabellen, en elke waarde verankeren aan bronbewijs. Vervolgens ontwerpen we Search-Oriented Context Management (SOCM), dat de evoluerende toestand externaliseert naar een Frontier Task, een Evidence Graph, een Coverage Map en een Failure Memory. Gebouwd op SOCM past SearchOS een pijplijn-parallel planningsmechanisme toe dat de uitvoering van subagenten overlapt en voortdurend vrijgekomen slots opvult met taken die zich richten op onopgeloste dekkingshiaten, om benutting en doorvoer te verbeteren. Om de uitvoering van zoekagenten te plannen en te beheersen, introduceert SearchOS een Search Tool Middleware Harness die model- en toolinteracties onderschept om onderbouwde bewijzen te registreren en te reageren op stilstand of budgetuitputting, en biedt een herbruikbaar hiërarchisch vaardighedensysteem bestaande uit strategie- en toegangsvaardigheden om het zoekproces van de agenten te versterken en te voorkomen dat mislukte zoekpatronen over runs worden herhaald. Op WideSearch en GISA staat SearchOS bovenaan in alle metrieken onder de geëvalueerde enkel- en multi-agent baselines, en baant zo de weg naar robuuste informatiezoekende samenwerking.
Een groeiende kloof scheidt inferentiecontextlengtes van RL-natraining: inferentiesystemen naderen contexten van een miljoen tokens, terwijl natrainingsworkloads vaak blijven steken op 256K tokens of minder en vertrouwen op lengtegeneralisatie tijdens implementatie. De kloof is vooral belangrijk voor AI-agenten, waarvan de waarnemingen, tooluitvoer, documenten en eerdere beslissingen zich ophopen over lange trajecten. LongStraw is een architectuurbewuste uitvoeringsstack voor RL-natraining met een miljoen tokens onder een vast GPU-budget, geïmplementeerd met Group Relative Policy Optimization (GRPO). Het evalueert de gedeelde prompt zonder autograd, behoudt alleen modelspecifieke status die later nodig is voor tokens, en speelt korte responsvertakkingen één voor één af, waardoor de actieve trainingsgrafiek wordt verkleind ten koste van extra afspeeltijd. We implementeren het voor de hybride recurrente en volledige-aandacht Qwen3.6-27B en de gecomprimeerde-aandacht mixture-of-experts GLM-5.2. Op acht H20-GPU's voltooit LongStraw gegroepeerde Qwen-scoring en response backward op 2,1M posities voor groepen van 2 en 8; het vergroten van de groepsgrootte voegt slechts 0,21 GB aan piekgeheugengebruik toe, terwijl een aparte stresstest 4,46M posities bereikt. Op 32 H20-GPU's valideren we het end-to-end-uitvoeringspad van LongStraw voor een prompt van 2,1M tokens over alle 78 lagen van GLM-5.2. Deze experimenten leggen uitvoeringscapaciteit vast, niet volledige trainingscorrectheid, omdat de vastgelegde promptstatus is losgekoppeld en sommige gedistribueerde forward- en gradientcompositiepaden onvolledig blijven.
Wereld-actiemodellen (WAMs) komen naar voren als een veelbelovende basis voor belichaamde besturing: in plaats van alleen acties te voorspellen, leren ze representaties die actiegeneratie koppelen aan toekomstige wereldvoorspelling. Deze koppeling wordt vaak beschouwd als een bron van robuustheid, interpreteerbaarheid en veiligheid, omdat een robotactie in principe kan worden getoetst aan zijn ingebeelde toekomst. In dit artikel tonen we aan dat deze veronderstelling breekbaar is. We introduceren BadWAM, een uniform raamwerk voor het modelleren en evalueren van Wereld-Actie Drift-aanvallen: een nieuwe klasse van WAM-specifieke adversarial-aanvallen die kleine visuele verstoringen gebruiken om de afstemming tussen wat een WAM zich voorstelt en wat het uitvoert te verbreken. BadWAM karakteriseert dit aanvalsoppervlak aan de hand van twee natuurlijke criteria: aanvalssterkte en onopvallendheid. Wanneer de tegenstander prioriteit geeft aan verstoring, instantieert BadWAM een actie-only adversarial-aanval, die het model rechtstreeks naar taakfalen leidende acties drijft. Wanneer de tegenstander daarnaast prioriteit geeft aan onopvallendheid, instantieert BadWAM een verbeelding-behoudende adversarial-aanval, die schadelijke actieverschuivingen probeert te induceren terwijl de voorspelde toekomst van het model dicht bij zijn schone verbeelding blijft. Samen bestrijken deze twee aanvallen een spectrum van WAM-specifieke falen: van openlijke actiekaping tot onopvallendere gevallen waarin het model een plausibele toekomst lijkt in te beelden maar een gedesynchroniseerde actie uitvoert. We evalueren BadWAM over verschillende varianten van WAMs. Resultaten tonen aan dat onze aanvallen de taaksuccespercentages aanzienlijk verminderen onder gesloten-lus uitvoering. Zo verlaagt onze actie-only aanval de modelprestatie van 96,5% naar 43,1% succes. De resultaten van onze verbeelding-behoudende aanval leggen verder een WAM-specifieke kwetsbaarheid bloot: gematigde toekomstbehoudende regularisatie kan sterke aanvalsprestaties handhaven terwijl de afwijking in toekomstverbeelding wordt verminderd.
Videogeneratie steunt steeds vaker op op keyframes gebaseerde workflows, waarbij makers een reeks referentieafbeeldingen specificeren om de generatie te sturen. Hoewel recente modellen conditionering met meerdere keyframes ondersteunen, blijft het onduidelijk of ze de voorgeschreven keyframes getrouw kunnen reproduceren met behoud van de algehele videokwaliteit. Wij presenteren KeyFrame-Compass, de eerste uitgebreide benchmark voor het evalueren van keyframe-geconditioneerde videogeneratie. De benchmark bevat 386 zorgvuldig samengestelde voorbeelden uit drie toepassingsdomeinen, twee videostructuren, twee granulariteitsniveaus van prompts, twee conditioneringformaten en vier keyframedichtheden, wat gecontroleerde analyse onder uiteenlopende generatie-instellingen mogelijk maakt. Verder introduceren we een geautomatiseerd evaluatiekader dat zowel de uitvoering van keyframes als de algehele videokwaliteit meet. Concreet splitsen we de uitvoering van keyframes op in zes complementaire metrieken die betrekking hebben op aanwezigheid, getrouwheid, temporele ordening, lokalisatie, persistentie en uniciteit, terwijl we de algehele videokwaliteit beoordelen via evidentie-gebaseerde MLLM-oordelen, aangevuld met gespecialiseerde perceptiemodellen. Experimenten met negen representatieve videogeneratiesystemen onthullen verschillende fundamentele beperkingen. Huidige modellen vertonen een duidelijke afweging tussen getrouwe keyframe-uitvoering en natuurlijke videosynthese. Hun prestaties nemen verder af naarmate keyframe-beperkingen dichter worden en de meeste opensource-modellen slagen er ook niet in om storyboard-grid-invoer te interpreteren als temporeel geordende keyframereeksen.
Multi-referentie-naar-audio-video (MR2AV) generatie heeft als doel coherente audio-video-inhoud te genereren op basis van meerdere referenties en tekstuele instructies. Bestaande benchmarks richten zich voornamelijk op tekstgestuurde generatie, behoud van enkele referentiesubjecten of geïsoleerde audio-video-afstemming, waardoor de opkomende MR2AV-setting grotendeels onontgonnen blijft. In vergelijking met deze settings vereist MR2AV dat modellen gezamenlijk redeneren over meerdere referenties terwijl ze gesynchroniseerde visuele en audio-inhoud genereren. Modellen moeten niet alleen elke referentie getrouw behouden, maar ook correct meerdere gerefereerde entiteiten binden en samenstellen tot coherente audiovisuele gebeurtenissen. Om deze leemte aan te pakken introduceren we MultiRef-Compass, een uniforme benchmark voor MR2AV-generatie. Deze omvat 350 zorgvuldig samengestelde voorbeelden, opgesteld via een schaalbare en controleerbare asset-compositiepijplijn, die multi-view subjectbehoud, multi-entiteitbinding en mens-object-scènecompositie dekt. Om interpreteerbare evaluatie te bieden, definieert MultiRef-Compass een evaluatieprotocol met vier dimensies: Basiskwaliteit, Referentieconsistentie, Audio-Video-consistentie en Instructievolging, met behulp van 14 submetrieken. MultiRef-Compass integreert automatische metrieken met een herbeoordelingsverbeterd MLLM-as-a-Judge-raamwerk, wat schaalbare en controleerbare evaluatie mogelijk maakt van zowel perceptuele getrouwheid als referentiegestuurde compositie. Uitgebreide experimenten op acht representatieve MR2AV-systemen onthullen aanzienlijke ruimte voor verbetering op meerdere evaluatiedimensies, wat de noodzaak van een uitgebreide benchmark benadrukt en MultiRef-Compass positioneert als basis voor toekomstig MR2AV-onderzoek.
De menselijke cognitie scheidt begrip en generatie niet. Een leraar voor een whiteboard spreekt en tekent tegelijkertijd, waarbij elke modaliteit de andere hervormt. In dit artikel brengen we deze gekoppelde lus naar kunstmatige systemen. Gemaskeerde Diffusiemodellen (MDMs) zijn ideaal geschikt voor deze taak, maar bestaande samplers decoderen tekst en beeld ofwel afwisselend, ofwel updaten ze onafhankelijk in parallelle takken die alleen de geschiedenis van de vorige stap delen, maar niet de nieuwste beslissingen van de andere modaliteit binnen dezelfde stap; in combinatie met het onvermogen van MDMs om te hermaskeren worden cross-modale tegenstrijdigheden noch gedetecteerd noch hersteld. We introduceren Zelfcorrigerende Gekoppelde Markov-sprongprocessen (SC-CMJP), een raamwerk waarin de overgangssnelheden van de ene modaliteit functionalen zijn van de vertrouwensscore van de andere modaliteit, gewogen door cross-modale aandacht. Bovendien trekt een hermaskeringssprong toezeggingen in op het moment dat cross-modale evidentie ertegen keert. In combinatie met SC-CMJP introduceren we CO\(_2\)Jump (zelfcorrigerende gekoppelde sprong), een nieuwe trainingsvrije single-pass sampler voor gezamenlijke multimodale generatie. Voor trainings- en evaluatiedoeleinden hebben we drie grootschalige corpora voor gezamenlijke multimodale generatie gecreëerd en zullen we deze vrijgeven: JEdit-1M, JMaze-200K, JNono-200K, met bijbehorende in-distribution en out-of-distribution benchmarks. CO\(_2\)Jump behaalt de beste gezamenlijke prestaties voor beeldbegrip en -bewerking, evenals visueel redeneren (doolhof- en nonogram-oplossen). De prestaties van de sampler schalen monotoon met het aantal ontruisingsstappen, wat bewijs levert dat de voordelen van cross-modale koppeling zich in de loop van het traject opstapelen. Projectpagina: https://coupled-jump.github.io
Het bouwen van interactieve werelden die coherent reageren op acties van spelers is al lang een gedeeld doel van computergraphics, games en kunstmatige intelligentie. Recente videogeneneratieve modellen bieden een datagestuurde route naar dit doel door toekomstige observaties te voorspellen op basis van gebruikersacties, en worden steeds vaker beschouwd als potentiële volgende generatie game-engines. Het realiseren van een werkelijk interactieve gamewereld vereist echter interactieresultaten die regels volgen in evoluerende gamecondities, consequenties die over lange tijdshorizons blijven bestaan, en een generatielus die in real-time werkt. Conventionele game-engines realiseren deze eigenschappen via een recurrente actie-toestand-observatie-lus, waarin spelersacties een expliciete gametoestand bijwerken volgens vooraf gedefinieerde regels, en observaties worden weergegeven vanuit de resulterende toestand. Met deze lus als ordenend kader onderzoekt dit artikel interactieve gamewereldmodellering langs vier dimensies: spelersactiecontrole, gametoestandsdynamiek, toestand-observatie-persistentie en real-time interactieve generatie. Voor elke dimensie beginnen we met de vereiste capaciteiten voor een interactieve gamewereld, groeperen we bestaande benaderingen in representatieve families, en bespreken we de sterke punten en afwegingen van elke familie. Ter aanvulling van deze analyse presenteren we een schaalbare data-engine voor Black Myth: Wukong, die meer dan 90 uur aan gameplay verzamelt met frame-uitgelijnde spelersacties, grondwaarheidsgametoestanden en visuele observaties, samen met gestructureerde en semantische annotaties, als hulpbron voor toestandsbewuste gamewereldmodellering. We hopen dat dit artikel een duidelijk beeld geeft van waar het veld staat en vooruitgang bevordert richting interactieve gamewerelden.
Het leren van brede wereldkennis rechtstreeks uit ruwe visuele data is een fundamentele eigenschap van intelligentie. We introduceren UniVR, het eerste onderzoek naar het gelijktijdig aanleren van complex redeneren, fijnmazige fysische dynamica en langetermijnplanning op basis van puur visuele demonstraties. De kern van UniVR wordt gevormd door VR-GRPO, een versterkend leerparadigma met complementaire globale beloningen en beloningen per stap. Deze aanpak waarborgt logische samenhang en fysische consistentie gedurende het hele redeneerproces, zonder dat er taakspecifieke heuristieken of beeld-tekst paren nodig zijn. Voor het trainen en evalueren van UniVR hebben we VR-X geconstrueerd, een grootschalige benchmark samengesteld uit 16 diverse bronnen die langetermijnmanipulatie, ruimtelijke puzzels en fysisch redeneren bestrijken. Het is de eerste uitgebreide verzameling om deze heterogene vaardigheden te beoordelen onder een puur visueel protocol. Opmerkelijk genoeg behaalt UniVR een verbetering tot 25% op VR-X, en het superieure visuele redeneervermogen verhoogt ook de prestaties op diverse multimodale begripsbenchmarks. Deze bevindingen onderstrepen het enorme potentieel van redeneren binnen visuele ruimtes, waarbij alle code, gegevens en modellen open source beschikbaar worden gesteld voor verder onderzoek.
Reinforcement learning is een standaard nabehandelingsrecept geworden voor grote taalmodellen, maar dichte volledige parameterupdates creëren twee implementatie-relevante knelpunten: onderdrukte redeneerprestaties, vaak weerspiegeld door voortijdige verzadiging van testtijd-schaling, en interferentie bij het consolideren van meerdere capaciteiten via multi-domein training of model samenvoegen. We tonen aan dat de redeneereffectieve component van deze updates grotendeels geconcentreerd is in de spectrale ruimte van het basismodel, wat aanleiding geeft tot Subspace-Aligned Rewiring (SAR), een post-hoc bewerkingsmethode die deze spectrale kern behoudt terwijl orthogonale componenten worden verwijderd. SAR behoudt daardoor redeneerwinsten en filtert resterende updaterichtingen die prestaties onderdrukken of cross-domein interferentie versterken. Over verschillende modelfamilies en -schalen heen extraheert SAR compacte redeneerkernen met slechts ongeveer 0,58% van het totale aantal parameters: het behoudt meer dan 99% van de post-training prestaties en verbetert high-k exploratie in wiskundig redeneren, en generaliseert naar agentisch programmeren door zes van de zeven open benchmarks op een intern model te verbeteren. SAR zuivert ook mixed-domein trainingsupdates door onderdrukte programmeercapaciteit vrij te maken, met behoud van wiskundig redeneren en instructievolging. Het maakt bovendien model samenvoegen over experts mogelijk, wat leidt tot cross-domein generalisatie die eerdere samenvoeg-baselines en zelfs de beste enkel-domein experts overtreft. Over het geheel genomen toont SAR aan dat het extraheren van redeneereffectieve updates uit parametergemetrie kan dienen als een trainingsvrij mechanisme om redeneren en multi-domein prestaties te verbeteren.
We presenteren Wan-Streamer v0.3, dat ons native-streaming-interactiemodel herformuleert vanuit één enkel organiserend perspectief: een video is een wereld plus een gebeurtenissenstroom. De wereld is de persistente context waarin een video zich ontvouwt, met inbegrip van de omgeving, het tafereel, de subjecten, de akoestische omstandigheden, stemkarakteristieken en andere relatief stabiele condities. De gebeurtenissenstroom omvat alles wat in de loop van de tijd binnen die wereld verandert, zoals veranderingen in het tafereel of de omgeving, subjectgedrag, spraak en andere geluiden. Dit levert een general-purpose-voortrainingstaak op over grote hoeveelheden echte video: gegeven een wereld en inkomende input, voorspel hoe de wereld beweegt, verandert en in real-time reageert. De resulterende competentie kan worden gespecialiseerd voor een brede familie van real-time downstream-taken. We implementeren dit in real-time full-duplex audiovisuele interactie, waarbij de gebeurtenissenstroom de spraak van de agent is, samen met vrij gedrag. Functioneel gezien is het multimodale begripsproces van het model visie-taal-actie-achtig: het brengt multimodale gebruikersinput in kaart naar taalvormige spraak- en gedragsacties. Wan-Streamer v0.3 behoudt het werkpunt van v0.2: 640x368 video bij 25 FPS, een streaming-eenheid van 160 ms, een responstijd aan modelzijde van circa 200 ms, en een totale interactielatentie van circa 550 ms onder een bidirectioneel netwerkbudget van 350 ms.
On-policy distillatie (OPD) is uitgegroeid tot een sleutelparadigma in de post-training van LLM's, maar de trainingsdynamiek ervan blijft slecht begrepen. We presenteren een systematische studie naar de rol, pathologieën en regulering van OPD. Eerst verduidelijken we de rol van OPD als exploratiekatalysator: het stuurt de student via dichte token-niveau begeleiding naar correcte redeneerpaden, zonder de capaciteitsgrens te verleggen. We bevestigen dit door aan te tonen dat promptdiversiteit belangrijker is dan het aantal samples per probleem, en dat de effectiviteit van OPD volledig afhangt van de kwaliteit van het sturende signaal. Deze afhankelijkheid brengt twee pathologieën aan het licht die exploratie doen ontsporen. De Student-Docent Mismatch treedt op wanneer een grote verdelingkloof tussen docent en student ervoor zorgt dat het sturende signaal niet meer in lijn is met taakcorrectheid, waardoor exploratie in contraproductieve richtingen wordt gestuurd. Lengte-exploitatie ontstaat wanneer de geaggregeerde doelstelling op token-niveau lengteafhankelijke shortcuts creëert, waardoor de student het beloningslandschap kan bespelen via responsafkapping of overbodige padding, en zo ontaarde lengtemodi exploreert in plaats van redeneerstrategieën. Om deze pathologieën te beteugelen, onderzoeken we lichte signaalreguleringen: advantage clipping en log-schaalcompressie, die ervoor zorgen dat exploratie wordt geleid door betrouwbare signalen. Experimenten op zeven benchmarks tonen aan dat deze reguleringen lengte-exploitatie verminderen en effectieve distillatie mogelijk maken, waarbij ze stabiel beter presteren dan OPD-varianten en RLVR-baselines. Dit bevestigt dat niet louter de docentschaal, maar een goed gereguleerde signaalkwaliteit bepalend is voor succesvolle exploratie in OPD.
Recente fundamentele robotmodellen werken met enkelstaps- of korte historie visuomotorische context. We introduceren Test-Time-Training Robot Policies (RoboTTT), een robotmodel en trainingsrecept dat visuomotorische context opschaalt naar 8K tijdstappen, drie ordes van grootte voorbij de state-of-the-art beleidsmodellen, zonder de inferentielatentie te verhogen. Bij deze contextlengte ontgrendelen we nieuwe robotcapaciteiten: eenmalige in-context imitatie van menselijke videodemonstraties, directe beleidsverbetering, robuustheid tegen verstoringen en betere prestaties op meerfasige langetermijntaken. We observeren ook, voor het eerst, gestage verbeteringen in closed-loop prestaties naarmate de pre-trainingscontextlengte toeneemt. In de kern integreert RoboTTT Test-Time Training in fundamentele robotmodellen zoals Visie-Taal-Actie beleid, wat resulteert in een sequentiemodel waarvan de recurrente toestand bestaat uit snelle gewichten, parameters die tijdens zowel training als inferentie door gradiëntafdaling worden bijgewerkt, waardoor geschiedenissen worden gecomprimeerd in de gewichtsruimte en contextuele informatie wordt opgehaald voor lange-contextconditionering. Om de trainingscontextlengte op te schalen, combineert het recept sequentie-actie-dwingen met getrunceerde terugpropagatie door de tijd. Bij uitdagende echte robotmanipulatietaken verbetert RoboTTT de algehele prestaties met 87% ten opzichte van de enkelstapscontext baseline en voltooit het volledig een vijf minuten durende tienfasige assemblagetaak, wat geen enkele baseline ooit doet. RoboTTT getraind met 8K tijdstappen context presteert 62% beter dan hetzelfde model getraind met 1K tijdstappen, wat suggereert dat contextlengte een nieuwe schaalas is voor fundamentele robotmodellen. Video's zijn beschikbaar op https://research.nvidia.com/labs/gear/robottt/
MeanFlow-generatoren bereiken snelle bemonstering in enkele stappen door gemiddelde snelheden over tijdsintervallen te voorspellen, wat ze aantrekkelijk maakt voor efficiënte generatie. Reinforcement learning (RL) is uitgegroeid tot een krachtige manier om diffusie- en stroommodellen af te stemmen op menselijke voorkeuren en taakspecifieke doelstellingen. In het bijzonder biedt DiffusionNFT een efficiënt RL-framework voor forward-processen dat geen omgekeerde procestrajecten of waarschijnlijkheidsschattingen vereist. Toepassing van dergelijke RL-methoden op MeanFlow is echter nog niet voldoende onderzocht. DiffusionNFT optimaliseert momentane snelheden, terwijl MeanFlow met gemiddelde snelheden bemonstert. Om deze kloof te overbruggen introduceren we MeanFlowNFT. Geïnspireerd door de MeanFlow-identiteit, die de brug slaat tussen gemiddelde en momentane snelheden, construeren we een geïnduceerde voorspeller van momentane snelheden. We passen de DiffusionNFT-doelstelling toe op deze voorspeller, waardoor beloningsoptimalisatie goed gedefinieerd wordt voor MeanFlow. De bemonstering blijft gebaseerd op de gemiddelde snelheid, waardoor de snelle generatie in enkele stappen van MeanFlow behouden blijft. Verder bewijzen we dat MeanFlowNFT de strikte beleidsverbeteringsgarantie van DiffusionNFT erft. Experimenten op beeld- en videogeneratie tonen aan dat MeanFlowNFT consistent basislijnen verbetert. Bovendien presteert het beter dan eerdere state-of-the-art RL-afgestemde generatoren in enkele stappen op de meeste metrieken (6 van de 8 op SD3.5-M), en het kan zelfs meerstaps RL-afgestemde diffusie overtreffen terwijl het slechts enkele bemonsteringsstappen gebruikt. Bijvoorbeeld, op Wan 2.1 bereikt 4-staps MeanFlowNFT een VBench-score van 84,33, waarmee het 50-staps LongCat-Video RL (82,57) overtreft.
Muziekgeneratie-funderingsmodellen hebben recentelijk aanzienlijke industriële aandacht getrokken. Het realiseren van efficiënte generatie en hoogwaardige langdurige audio met ondersteuning van beheersbaarheid blijft echter uitdagend. Om aan deze behoeften te voldoen, presenteren we WanSong, een eenvoudige maar krachtige aanpak voor het genereren van langdurige, commerciële liedjes. In tegenstelling tot autoregressieve (AR) en trapsgewijze meerfasige pipelines (bijv. AR gevolgd door diffusie), is WanSong een zuiver diffusiegebaseerd model dat direct hoogwaardige, meertalige liedjes tot 5 minuten genereert en in één enkele uitvoering tweeledige stems (zang en achtergrondmuziek) produceert. Bovendien maakt ons diffusieframework snellere inferentie mogelijk door stapdestillatie en biedt het een efficiënt pad voor fine-tuning en maatwerk ter ondersteuning van stroomafwaartse bewerkingstaken.
Geloopte Transformers schalen sequentiële berekening door een compacte stapel fysieke blokken gedurende meerdere rondes toe te passen, waardoor de uitgerolde diepte toeneemt zonder dat het aantal opgeslagen parameters toeneemt. Dit hergebruik verandert het residu-schalingsprobleem: in een ongebonden Transformer ontvangt en past elke residutak zijn eigen parameterupdate toe, terwijl in een geloopte Transformer één gedeelde update gradiënten van herhaalde bezoeken aggregeert en door dezelfde bezoeken wordt teruggelezen in de volgende gelineariseerde voorwaartse doorgang. We formaliseren dit gebonden-diepte-effect via een eerste-orde storingsgrens die wordt geregeld door een coëfficiënt voor bezoek-uitlijning κ_R. De grens herstelt de DeepNorm-exponent wanneer bezoeken decorreleren, maar in het conservatieve uitgelijnde regime vereist het dat de exponent toeneemt van 1/4 naar 1/2 naarmate het aantal lussen groeit bij een vaste fysieke diepte. De resulterende methode, DeepLoop, behoudt de Post-LN DeepNorm-architectuur en stelt α=(2N)^{1/2} en β=(8N)^{-1/2} voor de uitgerolde diepte N. In GPT-achtige geloopte taalmodellen op schaal van GPT-2 small en GPT-2 medium is DeepLoop neutraal wanneer geen fysiek blok opnieuw wordt bezocht en verbetert het de validatieverlies en de downstream-nauwkeurigheid zodra de recurrente diepte wordt geactiveerd. Deze resultaten tonen aan dat stabiele recurrente diepte residu-schalingsregels vereist die rekening houden met parameterbezoeken, niet alleen met het nominale aantal lagen.
Visueel beperkte individuen (VBI's) ervaren dagelijks aanzienlijke uitdagingen door beperkte toegang tot visuele informatie. Hoewel multimodale grote taalmodellen (MGTM's) indrukwekkende resultaten hebben behaald op algemene visuele en taaltaken, blijft hun praktische bruikbaarheid in realistische blindenhulp nog grotendeels onderbelicht. Om deze leemte op te vullen introduceren wij VIABench, een uitgebreide videobenchmark die specifiek is ontworpen om MGTM's te evalueren in scenario's voor ondersteuning van visueel beperkten, gebruikmakend van first-person video's die door VBI's zelf zijn opgenomen of gedeeld. VIABench definieert drie kerntaken, elk gericht op een specifieke behoefte in visuele ondersteuning. Proactieve Herinnering: Beoordeelt het vermogen van het model om doorlopende video-inhoud te interpreteren terwijl het proactief anticipeert op en verbaal beschrijft van aankomende navigatiekritische gebeurtenissen; Visuele Vraagbeantwoording (VQA): Evalueert het vermogen van het model om door gebruikers gestelde vragen over de omgeving of objecten in de video te beantwoorden; Visiegestuurde Interactie: Test contextbewust redeneren om intentionele interacties tussen gebruiker en omgeving te realiseren. Om een robuuste en eerlijke evaluatie te waarborgen, stellen wij een rigoureuze benchmarkpijplijn voor die zowel online (real-time) als offline instellingen ondersteunt. Onze experimenten tonen aan dat huidige MGTM's nog steeds moeite hebben met het bieden van uitgebreide ondersteuning aan VBI's, met name bij de taak Proactieve Herinnering, die nauwkeurige anticipatie en real-time responsiviteit vereist. Wij hopen dat VIABench toekomstig onderzoek zal stimuleren naar de ontwikkeling van aangepaste MGTM's voor praktische ondersteuning, wat uiteindelijk de navigatie- en interactie-ervaringen voor visueel beperkte individuen zal verbeteren. Code en gegevens worden vrijgegeven op https://github.com/MCG-NJU/VIABench.
Wij rapporteren een manier om een bevroren klein taalmodel tegelijkertijd capabeler en dramatisch goedkoper te maken, zonder enige gewichten te veranderen. Geverifieerde kennis wordt eenmalig gedeponeerd als een byte-exact key-value (KV) toestandsartefact en later hersteld, door enting, in een nieuwe inferentiecontext. Het herstel is bit-exact: onder een vastgezette deterministische configuratie zijn de geënte logits byte-voor-byte identiek aan een nieuwe berekening (SHA-256 gelijkheid), met nul KL-divergentie en 100% argmax-overeenstemming over vijftig samples. Wij tonen aan dat eigen-positie-enting het unieke numeriek exacte werkpunt is op een model met drijvende-komma rotatiecodering, en wij verifiëren byte-exactheid op twee modelschalen (12B, 31B) en twee GPU-doelen, waarvan één via een vooraf geregistreerde replay. Op AIME 2025 stijgt een bevroren Gemma-4-12B van 80,0% naar 93,3% zodra een geverifieerde oplossingsbibliotheek wordt geënt, boven zijn eigen 77,5% en de gepubliceerde ankers van zijn 31B-tegenhanger van 89,2%. In het terugkerende geval worden acht problemen die het basismodel nooit oplost binnen een budget van 401.026 tokens beantwoord vanuit gecachte geverifieerde oplossingen in 61 totale decodeertokens, een factor van 6.574 minder tokens en ongeveer 8.700× minder energie; de eigenlijke capaciteitsclaim berust op out-of-sample transfer (7 van de 7 bij 31B). Dezelfde byte-exacte opslag verbreedt de bruikbare context van 32.768 naar 2.854.766 tokens zonder extra acceleratorgeheugen, en verplaatst byte-identiek tussen machines van dezelfde architectuur. Wij beschrijven het systeem op gedragsniveau; de engine is propriëtair, en elk gerapporteerd getal wordt ondersteund door vastgelegde input- en output-hashes zodat de score kan worden nagecontroleerd zonder de engine.
In-context learning wordt vaak geïnterpreteerd als een vorm van conditionele inferentie, waarbij de prompt een context specificeert en de output van het model wordt beschouwd als een schatting van de bijbehorende conditionele verdeling. Als deze interpretatie geldig is, dan zouden LLM-schattingen moeten voldoen aan elementaire probabilistische identiteiten. In het bijzonder stelt de wet van de totale kans dat a priori gewogen conditionele verdelingen aggregeren tot marginalen op populatieniveau over elke geldige partitie van de populatie. In dit werk onderzoeken we in hoeverre LLM-schattingen zich aan dit zelfconsistentieprincipe houden. We gebruiken binaire bomen als evaluatie-raamwerk om een populatie recursief te partitioneren in steeds fijnmazigere subpopulaties. Vervolgens geven we LLM's prompts met verwoorde subpopulatiebeschrijvingen in context, aggregeren we de resulterende schattingen terug naar schattingen op populatieniveau, en vergelijken we ze over partities van verschillende granulariteit. Door dit protocol toe te passen op verschillende probleemdomeinen en geavanceerde voorhoedemodellen, tonen we wijdverbreide schendingen van elementaire consistentie-eigenschappen aan. Een diepgaand onderzoek naar persona-prompting onthult een patroon dat we de macro-dwaling noemen: schattingen gereconstrueerd uit fijnmazigere subpopulatieresponsen komen vaak beter overeen met menselijke referentiegegevens dan directe schattingen op populatieniveau. Dit effect blijft bestaan over variaties in boomstructuur en schattingstaak, en kan gedeeltelijk worden hersteld door impliciete prompting. Samen suggereren deze bevindingen dat modellen relevante subpopulatiekennis bezitten maar deze niet betrouwbaar doorgeven in geaggregeerde schattingen. Deze kloof vestigt statistische zelfconsistentie als een onverzadigd, referentie-vrij criterium voor het evalueren van LLM's.
Recente generaliseerbare 3D Gaussiaanse Splatting-modellen hebben de synthese van lange sequenties van nieuwe aanzichten (NVS) bevorderd, maar ten koste van aanzienlijke overbodige berekeningen. We stellen vast dat deze redundantie kan worden verminderd op basis van twee observaties: (i) hoge-precisie geometrie is niet strikt noodzakelijk voor hoogwaardige NVS; (ii) het leren van uiterlijk is over het algemeen eenvoudiger dan het herstellen van geometrie. Gemotiveerd door deze inzichten stellen we een asymmetrische architectuur voor die de modellering van geometrie en uiterlijk ontkoppelt. De geometrietak verwerkt grofkorrelige tokens met de meeste parameters voor multi-view reconstructie, terwijl de uiterlijktak werkt met fijnkorrelige tokens om details vast te leggen met aanzienlijk minder parameters. De twee takken werken samen via bilaterale verbindingen, waardoor wederzijdse begeleiding voor hun respectievelijke taken mogelijk wordt. Deze taakbewuste asymmetrie vermindert de rekenkundige redundantie en verdeelt de berekeningen oordeelkundiger, waardoor de parameterefficiëntie toeneemt en kleinere modellen sterke prestaties kunnen leveren. Bij invoer van 32 aanzichten met 960P presteert ons model vergelijkbaar met optimalisatiegebaseerde methoden, terwijl het een bijna 800x versnelling biedt, en overtreft het de zero-shot prestaties van state-of-the-art generaliseerbare modellen met aanzienlijk minder parameters en verminderde trainings-/inferentie-overhead, wat leidt tot een algehele efficiëntieverbetering.
Agentische retrieval-versterkte generatie (RAG) breidt statische RAG uit door taalmodellen in staat te stellen iteratief te redeneren, zoekopdrachten te genereren, bewijs te verzamelen en antwoorden te voorspellen. Het blijft echter een uitdaging voor modellen om te beslissen wanneer ze moeten opvragen, of ze lexicale matching of semantische gelijkenis moeten gebruiken, en hoe ze de contextgranulariteit kunnen beheersen om te voorkomen dat irrelevante tokens de agent-redenering verstoren. In dit artikel introduceren we GRASP, een reinforcement learning (RL)-framework voor het trainen van agenten om adaptief complementaire opvraagtools te coördineren tijdens meerstapsredeneringen. GRASP voorziet de agent van semantische zoekacties, trefwoordzoekacties en alinea-leesacties, waardoor hij alleen indien nodig bewijs op zinsniveau kan ophalen en verdere context kan uitbreiden. We trainen het beleid met een beloning die gezamenlijk rekening houdt met antwoordnauwkeurigheid, onderbouwd lezen, complementaire zoekacties en beurtefficiëntie. Experimenten op benchmarks voor meerstapsredeneringen tonen aan dat GRASP zowel de retrieval-recall als de downstream-vraagbeantwoordingsprestaties verbetert in vergelijking met enkelstaps-retrieval, prompt-gebaseerde agentische RAG, en op RL gebaseerde retrieval-baselines. Kwalitatieve en ablatie-analyses laten zien dat het aangeleerde beleid interpreteerbaar skim- en scan-gedrag ontwikkelt: het gebruikt semantisch zoeken voor brede verkenning, alinea-lezen voor lokale verificatie, en trefwoordzoeken voor entiteit-specifiek bewijs. Deze resultaten suggereren dat het leren coördineren van retrievalsignalen en contextgranulariteit cruciaal is voor correcte redenering van de agent.
Belichaamde cognitie vereist dat agenten hoogwaardige taakredenering koppelen aan de fysieke toestanden die bereikt moeten worden. Wij introduceren Hy-Embodied-RxBrain, een fundamentmodel voor belichaamde cognitie met geïntegreerde taal-visuele redenering en verbeelding. In tegenstelling tot visie-taalsystemen die zich richten op scènebegrip en tekstuele besluitvorming, of generatieve wereldmodellen die vooral toekomstige visuele toestanden voorspellen, vertegenwoordigt RxBrain belichaamde plannen in een enkele planningsreeks waarin taal en visuele verbeelding complementaire rollen spelen. Taal biedt de abstracte structuur van een plan, inclusief taakdecompositie, planningsprimitieven, beperkingen, temporele volgorde en beslissingslogica, terwijl visuele verbeelding deze structuur verankert door wereldtoestandvoorspelling en gezamenlijke subdoelplanning, waarbij elke planningsstap wordt gekoppeld aan tussenliggende en uiteindelijke fysieke toestanden. RxBrain maakt gebruik van een uniforme multimodale Mixture-of-Transformers-architectuur die zowel begrip als generatie van taal, beeld en video binnen één model ondersteunt. Om deze mogelijkheid te trainen, bouwen we een automatische pijplijn die belichaamde video's omzet in gezamenlijke tekst-visuele planningssupervisie door video's op te splitsen in planningsstappen en deze af te stemmen op visuele toestandsovergangen. Verder introduceren we RxBrain-Bench om te evalueren of modellen belichaamde plannen kunnen representeren via gezamenlijke tekstuele en visuele componenten in plaats van afzonderlijk begrip of generatie. Experimenten tonen aan dat RxBrain belichaamde begrips- en generatievermogens behoudt en plannen produceert met gekoppelde tekstuele redenering, wereldtoestandvoorspelling en gezamenlijke subdoelplanning. We breiden RxBrain ook uit naar continue robotactiegeneratie, waar het veelbelovende prestaties op echte robots laat zien zonder grootschalige actie-datavoorbereiding. Deze resultaten vormen een eerste stap in de richting van fundamentmodellen voor belichaamde cognitie.
CAD-naar-beeld uitlijning heeft als doel de 9D pose (rotatie, translatie en anisotrope schaal) van een object te schatten uit een enkele RGB-afbeelding, wat toepassingen in robotica en augmented reality mogelijk maakt. Recente zero-shot methoden gebruiken visuele funderingsmodellen om beeldregio's te matchen met CAD-modellen, maar doorgaans zijn hun correspondenties uiterlijk-gedreven en verslechteren ze onder occlusie of sim-to-real domeinverschuiving. Om deze beperkingen aan te pakken, introduceren we SUFLECA (Scaling Up Feature LEarning for CAD Alignment), een zwak-gesuperviseerd raamwerk voor zero-shot CAD-uitlijning met twee belangrijke bijdragen. Ten eerste schaalt SUFLECA de geometrie-gefundeerde feature learning op van voorgetrainde visuele representaties door middel van Normalized Object Coordinates (NOCs) supervisie op 674K afbeeldingen verdeeld over 12 echte en synthetische datasets, waarbij compacte geometrie-bewuste features worden geleerd die generaliseren over domeinen heen. Ten tweede stellen we een geometrisch consistent matching-algoritme voor dat betrouwbare één-op-één CAD-naar-beeld correspondenties tot stand brengt. Samen maken deze bijdragen nauwkeurige, sub-seconde uitlijning per objectinstantie mogelijk zonder iteratieve pose-verfijning. Op ScanNet25k behaalt SUFLECA 33,4%/42,3% categorie-/instantienauwkeurigheid, waarmee het, met een kleinere computationele voetafdruk, de sterkste zero-shot baseline met 10,3/12,2 procentpunten overtreft en, voor het eerst op deze benchmark, zelfs volledig gesuperviseerde methoden overtreft. Code is beschikbaar op: https://github.com/snt-arg/SUFLECA
Videomodellen evolueren naar visie-fundamentmodellen, maar ze missen nog steeds mensachtige meerstapsredenering. Streaming autoregressieve diffusiemodellen zijn efficiënt maar beperkt in redenering, terwijl bidirectionele diffusie wereldwijde revisie mogelijk maakt met hoge inferentiekosten door dichte denoising op frameniveau. Beide paradigma's hebben moeite met het bereiken van logische consistentie en streaming met lage latentie voor complexe redeneertaken. Wij stellen HDR (Hiërarchische Denoising voor Visuele Redenering) voor, een uniform raamwerk dat hiërarchische latenten integreert in causale videogeneratie voor meerstapsredenering. HDR organiseert videolaten in een boomstructuurhiërarchie, waardoor grof-naar-fijn redeneren mogelijk is voordat de streaming-output plaatsvindt. Grove denoisinglagen behouden onzekere hypothesen voor wereldwijde planning, terwijl fijnere lagen deze geleidelijk verfijnen tot concrete visuele toestanden. Een spaarzaam hiërarchisch aandachtsmechanisme (SHAP) verlaagt verder de temporele aandachtskosten. Wij introduceren een niveau-gestratificeerde meerstaps video-redeneringsbenchmark met out-of-distribution-gevallen, die zes taken omvat: doolhofnavigatie, Toren van Hanoi, eenlijnstekening, schuifpuzzel, Sokoban en watergieten. Vergeleken met streaming autoregressieve diffusiebaselines verbetert HDR het succes van 34,22 naar 60,29 (een relatieve winst van 76,2%) en verhoogt het de gemiddelde voortgang van 76,00 naar 89,56, wat meer consistente redeneringstrajecten aantoont. HDR handhaaft streaming met lage latentie van 0,70 seconden per latent, wat 54,2 keer snellere inferentie oplevert dan bidirectionele diffusie. Het behoudt ook 82,9% van de volledige dataprestaties met slechts 2% trainingsgegevens, vergeleken met 52,0% voor bidirectionele diffusie. Robotexperimenten in de echte wereld tonen verder het potentieel van HDR voor fysieke interactie en wereldmodellering aan. Projectdemo: https://hierarchical-diffusion-reasoning.github.io/.
Het valideren van autonome rijsystemen vereist diverse, aan regelgeving voldoenende testscenario's. Bij simulatiegebaseerd testen worden scenario's gedefinieerd als uitvoerbare scripts. Het automatisch genereren van dergelijke scripts op basis van regelgevende beschrijvingen blijft echter een open uitdaging, en bestaande benaderingen kennen fundamentele afwegingen. Retrieval-assembly-methoden behalen redelijke compilatiepercentages, maar missen schaalbaarheid, terwijl retrieval-gebaseerde volledige-scriptgeneratie lijdt onder lage compilatiesuccespercentages. Wij presenteren Chat2Scenic, het eerste iteratieve retrieval-augmented raamwerk voor het genereren van scenarioscripts in een Domeinspecifieke Taal (DSL). Specifiek biedt Chat2Scenic een chatbotinterface die interactieve scenarioverfijning ondersteunt en Retrieval-augmented Generation (RAG) integreert om scenariogeneratie te grondvesten op regelgevende kennis en DSL-syntaxis. Verder stellen we een open benchmark voor scenariogeneratie voor, bestaande uit 123 scenario's uit diverse regelgeving, waaronder NHTSA- en VN-Voertuigreglementen, en andere bronnen. Uitgebreide evaluatie met State-of-the-Art (SOTA) Grote Taalmodellen (LLM's) toont aan dat Chat2Scenic een Compilatiesuccespercentage (CSR) van 76,42% en een Raamwerknauwkeurigheid (FA) van 58,17% behaalt, waarmee het beter presteert dan bestaande methoden (Retrieval Assemble met 30,08% CSR, 11,03% FA en Retrieval volledige scriptgeneratie met 16,26% CSR, 10,86% FA). Om toekomstig onderzoek te faciliteren, stellen we onze code open source beschikbaar op https://github.com/TUM-AVS/chat2scenic.
In dit artikel introduceren we token time continuous diffusion (TTCD), een nieuw diffusie taalmodel dat (a) opereert in continue ruimte, waarbij Gaussische ruis deterministisch wordt omgezet naar een uiteindelijk token canvas zonder verdere monstername, en cruciaal (b) een nieuw concept van per-token tijden omvat, waarbij sommige tokens sneller van ruis naar token evolueren dan andere. Modellering in continue ruimte helpt TTCD om het parallel samplen van meerdere tokens te vermijden, een belangrijke bron van onnauwkeurigheid bij hoge versnellingen voor modellen die uitsluitend in discrete ruimte itereren. Het concept van per-token tijden helpt TTCD om conditionele generatie beter te modelleren, maakt het mogelijk dat meer zekere tokens sneller verlopen, en zorgt voor gedifferentieerde invloeden tussen tokens tijdens verfijning. TTCD presteert beter dan discrete modellen bij hoge versnellingen. We trainen een TTCD-model met 160M parameters op OpenWebText en distilleren het vervolgens zelf; we vinden dat bij hoge versnellingen we vergelijkbaar zijn in kwaliteit van onvoorwaardelijke generatie, en beter presteren in conditionele generatie, vergeleken met verschillende bestaande modellen van vergelijkbare grootte die op dezelfde data zijn getraind en zelf-gedistilleerd. Ook bij het oplossen van Sudoku behalen we vergelijkbare winsten.