Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Robotische manipulatie in de open wereld vereist niet alleen het herkennen van hoe een scène eruitziet, maar ook het anticiperen van hoe de 3D-structuur ervan beweegt onder interactie. Wij stellen dat gesynchroniseerde RGB, diepte en optische stroom, namelijk RGB-DF, een fysiek gefundeerde representatie bieden die de onderliggende 4D-dynamica van een scène vastlegt. In vergelijking met 2D-pixelvideo's brengt deze multimodale synergie visuele verschijning in lijn met geometrische structuur en temporele beweging, waardoor een representatieruimte ontstaat die aanzienlijk dichter bij de laag-niveau eindeffectoracties ligt die robotsystemen vereisen, en zo de kloof tussen wereldvoorspelling en beleidsleren verkleint. Voortbouwend op dit inzicht introduceren wij RynnWorld-4D, een generatief model dat toekomstige RGB-frames, dieptekaarten en optische stroom co-produceert uit een enkel RGB-D-beeld en een taal-instructie binnen één uniform diffusieproces. Dit 4D-wereldmodel heeft een drietakkige architectuur die crossmodale aandacht integreert met framegewijze 3D-RoPE, zodat verschijning, geometrie en beweging consistent evolueren. Om trainingsdata op schaal te leveren, hebben wij Rynn4DDataset 1.0 samengesteld, een enorme dataset van meer dan 254,4 miljoen frames uit egocentrische menselijke en robotische manipulatievideo's met hoogwaardige pseudo-labels voor diepte en optische stroom. Verder stellen wij RynnWorld-4D-Policy voor, een inverse dynamica kop die de interne 4D-representaties van RynnWorld-4D consumeert in één enkele voorwaartse doorgang, waarbij dure meerstapsdenoising wordt omzeild, om robotacties in een gesloten-lus manier uit te voeren. Experimenten tonen aan dat RynnWorld-4D temporeel en ruimtelijk coherente 4D-voorspellingen produceert, en dat RynnWorld-4D-Policy state-of-the-art prestaties levert op realistische behendige bimanuele manipulatietaken, met name uitblinkend in taken die ruimtelijke precisie en temporele coördinatie vereisen.
Gamewerelden zijn traditioneel opgebouwd via arbeidsintensieve productiepijplijnen, wat ze kostbaar maakt in ontwikkeling, moeilijk aanpasbaar en duur om na implementatie te wijzigen. Recente ontwikkelingen in videowereldmodellen bieden een fundamenteel ander paradigma. In plaats van elk onderdeel van een virtuele omgeving expliciet te ontwerpen, synthetiseren deze modellen autoregressief toekomstige observaties, gebaseerd op de huidige wereldtoestand en gebruikersinteracties, waardoor speelbare werelden online kunnen worden gegenereerd. Getraind op zowel gameplay-opnames als echte video's kunnen ze diverse visuele verschijningen en fysieke dynamieken vastleggen, wat nieuwe mogelijkheden opent voor interactieve toepassingen buiten gaming, waaronder belichaamde intelligentie. In dit artikel presenteren we AlayaWorld, een full-stack open-source raamwerk voor het bouwen van interactieve generatieve werelden. AlayaWorld maakt open-einde realtime interactie mogelijk, waardoor gebruikers vrij kunnen navigeren en diverse acties kunnen uitvoeren, zoals vechten, spreuken uitspreken en monsters oproepen. Het raamwerk verenigt de volledige ontwikkeling – van datavoorbereiding, modelarchitectuur, modeltraining, inferentieversnelling tot implementatie – binnen een modulaire en uitbreidbare architectuur. Samen met het raamwerk brengen we reproduceerbare pijplijnen, referentie-implementaties, evaluatietools en uitgebreide documentatie uit, waarmee we een praktische basis leggen voor toekomstig onderzoek en realtime toepassingen van generatieve wereldmodellen.
Het opschalen van robotleren vereist enorme, diverse trajectoriadata, maar de verzameling ervan wordt momenteel gefleste door fysieke teleoperatie, waarbij elke demonstratie de tijd van de operator bindt aan specifieke hardware en werkruimtes. We introduceren digitale teleoperatie, een paradigma dat datacollectie ontkoppelt van fysieke beperkingen door de echte robot te vervangen door een generatief wereldmodel. In dit kader stuurt de handpositie-stroom van een operator een robot-centrisch generatief wereldmodel aan om hoogwaardige egocentrische video's te synthetiseren vanuit één enkel referentiebeeld. De geregistreerde positiestroom dient als een belichaamings-agnostische actielabel die via standaard retargeting naar elke doelrobot kan worden overgedragen, wat levert volledige toestand-actie-trajectorieën voor imitatieleer onafhankelijk van fysieke hardware. We concretiseren dit paradigma in RynnWorld-Teleop, een systeem dat dieptebewuste skeletconditionering, progressieve mens-naar-robottraining op een video-diffusietransformator en streaming autoregressieve distillatie integreert. Deze pijplijn comprimeert het generatieve proces tot een eenmalige inferentie, waardoor 40+ FPS, real-time interactieve generatie op een enkele H100-GPU mogelijk wordt. Beleid dat uitsluitend is getraind op door RynnWorld-Teleop gegenereerde data, behaalt effectieve zero-shot Sim2Real-overdracht voor behendige en diverse bimanuele taken. Bovendien verhoogt het aanvullen van real-world datasets met onze digitaal teleoperatie gegenereerde data consequent de slagingspercentages, wat aantoont dat RynnWorld-Teleop fungeert als een hoogwaardige, schaalbare data-engine voor de volgende generatie robotische agenten.
Het opschalen van moderne grote taalmodellen (LLM's) naar lange contexten wordt beperkt door de kwadratische rekenkosten en de slechte lengte-extrapolatie van dichte aandacht. Stuksgewijze sparse aandacht biedt een veelbelovend alternatief, maar alle bestaande methoden schieten tekort ten opzichte van volledige aandacht vanwege hun onnauwkeurige chunkselectie. Wij stellen Hiërarchische Landmark Sparse (HiLS) Aandacht voor, een stuksgewijs spaarzaam aandachtsmechanisme dat chunkselectie end-to-end leert onder het taalmodelleringsverlies (LM-verlies). HiLS factoriseert aandacht hiërarchisch: elke query voert zelfstandig aandacht uit met elke opgehaalde chunk om chukspecifieke informatie te extraheren, en de resulterende uitvoer wordt samengevoegd op basis van de chunkretrievalscores. Door retrievalscores op te nemen in de voorwaartse aandachtsberekening, optimaliseert HiLS deze direct met het LM-verlies, wat end-to-end retrievalleren en native sparse training mogelijk maakt. Experimentele resultaten tonen aan dat HiLS-Aandacht prestaties levert die vergelijkbaar zijn met, en in sommige gevallen beter dan, volledige aandacht bij contextlengtes binnen het domein. Tegelijkertijd extrapoleert HiLS-Aandacht meer dan 64 keer de trainingscontextlengte met 90% retrievalnauwkeurigheid, ver voorbij volledige aandacht. Bovendien kunnen bestaande volledige-aandachtsmodellen worden omgezet naar HiLS-Aandacht met een lichte voortgezette pretraining, waarbij de prestaties binnen het domein behouden blijven terwijl ultra-lange-context-extrapolatie wordt verkregen. Samen met zijn sparse KV-toegang en -berekening doorbreekt HiLS-Aandacht de gebruikelijke afweging tussen efficiëntie en prestaties, waardoor lange-context-LLM's mogelijk worden die zowel efficiënter als effectiever zijn bij algemene lange-contexttaken dan hun tegenhangers met volledige aandacht.
We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning text, image, and mixed targets. Starting from an off-the-shelf pretrained unified multimodal model, SenseNova-Vision is trained primarily on this corpus, with auxiliary multimodal data used as a capability-preserving mixture, and requires no task-specific prediction heads or architectural modifications. The resulting model covers a broad range of vision tasks, including detection, OCR, keypoint estimation, segmentation, depth estimation, surface normal prediction, point maps, and camera pose estimation, while supporting language-defined variants that combine category, color, region, and other visual cues. Experiments show that a single unified model can match leading task-specialized systems across structured visual understanding, dense geometric prediction, segmentation, and multi-view visual geometry. These results suggest unified multimodal generation as a scalable route for integrating computer vision capabilities into general-purpose foundation models. The model and corpus are publicly available.
Wij introduceren Gemma 4, een nieuwe generatie open-gewichts, nativ multimodale taalmodellen in de Gemma-modelfamilie. Ontworpen om rekenefficiëntie en redenering te verbeteren, beschikt de Gemma 4 modelsuite over dichte en Mixture-of-Experts architecturen, variërend van 2,3B tot 31B parameters. Naast verbeterde visie- en audio-encoders voor alle modelgroottes, stellen we een uniforme, encoder-vrije architectuur voor voor ons 12B-model, dat ruwe audio- en beeldpatches verwerkt. Bovendien integreren we een denkmodus, waarmee Gemma-modellen redeneersporen kunnen genereren voordat ze antwoorden. We verbeteren de inferentiesnelheid, het geheugen en de rekenefficiëntie, evenals de lange-context mogelijkheden door middel van cruciale ontwerpkeuzes. Gemma 4 vestigt een sprong in prestaties op STEM-, multimodale en lange-context benchmarks, en concurreert met grotere, grensverleggende open modellen in door mensen beoordeelde taken.
Agentisch videobegrip voorziet modellen van langetermijngeheugen om autonoom continue, langdurige multimodale stromen te verwerken en erop te reageren. Geavanceerde video-agenten vertrouwen echter vaak op een "detective-achtige" iteratieve redenering voor actiecontrole (bv. zoeken) en bewijsvorming, wat leidt tot prohibitieve kosten en latentie. Wij stellen dat dergelijke zware redenering vooral compenseert voor het gebrek aan globale context en semantische misalignatie in het ophalen. Dit artikel introduceert Light-Omni, een multimodaal agent-framework voor reflexief en lichtgewicht videobegrip. Dit wordt bereikt via duale contextuele toestanden die de benodigde context in één enkele forward-pass direct opbouwen. Ten eerste onderhouden we een globale toestand, een eindig multimodaal script dat continu wordt geconsolideerd uit episodisch geheugen en dient als globale context voor Light-Omni. Door hiërarchische samenvoeging worden recente details behouden terwijl gebeurtenissen uit het verleden worden samengevat. Ten tweede genereren we, geconditioneerd op deze globale context, een parametrische latente toestand die autonome acties direct aanstuurt en retrieval-embeddings produceert, met minimale latentie. Dankzij dit gekoppelde ontwerp bereikt Light-Omni semantisch afgestemd ophalen en reflexieve reacties, zonder iteratieve redenering. Uitgebreide experimenten valideren de effectiviteit van Light-Omni op meerdere video-benchmarks. Met name overtreft het M3-Agent met een gemiddelde nauwkeurigheidstoename van 2,4%, een 12,1× versnelling en een 2,6× verbetering in GPU-geheugenefficiëntie. Bovendien dient het als een geheugensysteem om zowel de prestaties als de efficiëntie van bestaande MLLM's te verbeteren. Projectpagina: https://clare-nie.github.io/Light-Omni.
Speculatieve decodering versnelt de inferentie van grote taalmodellen (LLM's) door het genereren van concepten los te koppelen van de doelverificatie. Hoewel recente parallelle conceptgeneratoren efficiënt lange tokenreeksen in één enkele voorwaartse pas voorstellen, lijden ze onder een snelle acceptatieafname door een gebrek aan onderlinge tokenafhankelijkheden. Bovendien verspilt het onderscheidloos verifiëren van deze uitgebreide blokken kritieke batchcapaciteit aan tokens met een hoog afwijzingsrisico, wat de doorvoer in systemen met hoge gelijktijdigheid ernstig aantast. We introduceren DSpark, een speculatief decoderingsraamwerk dat parallelle generatie met hoge doorvoer verenigt met adaptieve, belastingsbewuste verificatie. Om de conceptkwaliteit te behouden, maakt DSpark gebruik van een semi-autoregressieve architectuur, waarbij een parallelle backbone wordt gekoppeld aan een lichtgewicht sequentiële module, om intra-blok afhankelijkheidsmodellering te introduceren en suffixverval te beperken. Om de systeemefficiëntie te optimaliseren, past DSpark een vertrouwensgeplande verificatie toe, waarbij de verificatielengte voor elk verzoek dynamisch wordt aangepast op basis van geschatte prefixoverlevingskansen en motorspecifieke doorvoerprofielen. Op offline benchmarks in diverse domeinen verbetert DSpark de geaccepteerde lengte aanzienlijk ten opzichte van state-of-the-art autoregressieve en parallelle conceptgeneratoren. Wanneer het wordt ingezet in het DeepSeek-V4 serveersysteem onder live gebruikersverkeer, beperkt DSpark met succes verificatieverspilling. Vergeleken met de gevestigde productiebaseline (MTP-1) versnelt DSpark de generatiesnelheden per gebruiker met 60 tot 85 procent bij overeenkomende doorvoerniveaus. Belangrijker nog, door ernstige doorvoerverslechtering onder strikte interactiviteitsbeperkingen te voorkomen, maakt het prestatieniveaus mogelijk die voorheen onbereikbaar waren, waardoor de Pareto-grens van ons serveersysteem verschuift.
Hoewel vaardigheidsoptimalisatie voor autonome agenten aan populariteit wint, vertrouwen bestaande methoden op complexe pijplijnen. Dit laat een fundamentele vraag onbeantwoord: wat vormt een minimaal levensvatbare pijplijn voor vaardigheidsoptimalisatie, waarbij elk onderdeel wordt gerechtvaardigd door theorie of empirische noodzaak? Wij formaliseren vaardigheidsoptimalisatie via nulde-orde (ZO) optimalisatie en brengen klassieke tegenhangers (centrale differentie, trustregio's) in kaart naar recente literatuur. Opmerkend dat vaardigheidstrajecten, in tegenstelling tot blinde numerieke verstoringen in klassieke ZO, dienen als interpreteerbare debug-feedback. Geworteld in de Claude Code-filosofie en PAC-leren, stellen we drie principes vast voor convergentie en generalisatie: bestandssysteemgebaseerde trajectverkenning, consensuskenmerkmijnbouw en onafhankelijke validatiedrempels. Door redundanties weg te nemen, stellen we SkillOpt-Lite voor. Het versnelt convergentie en presteert beter dan het volledige SkillOpt: een verbetering van +8,8 punten op LiveMath met GPT-5.5 en +25,4 punten met GPT-5.4-nano, waardoor het nano-model de standaard GPT-5.4 verslaat die door SkillOpt is geoptimaliseerd. Tot slot integreren we ons raamwerk in productiecodeagenten zoals VSCode Copilot, waarmee ontwikkelaars agentvaardigheden kunnen evolueren via één regel 'vibe'. Omdat ons raamwerk alle agentcomponenten simpelweg als standaard bewerkbare code behandelt, generaliseert deze minimale pijplijn op natuurlijke wijze naar volledige harnasoptimalisatie (HarnessOpt). Op SpreadsheetBench stelt HarnessOpt GPT-5.4-nano in staat een nauwkeurigheid van 0,7758 te behalen, waarmee de grotere GPT-5.5 met standaardpijplijnen (0,7620) wordt overtroffen. Code is beschikbaar op https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.
Dichte videobijschriftgeneratie heeft als doel om tijdelijk gefundeerde beschrijvingen van video-evenementen te genereren, wat zowel gebeurtenisniveau videobegrip als -generatie ten goede komt. In dit domein zijn autoregressieve video-grote taalmodellen naar voren gekomen als een prevalent paradigma vanwege hun sterke generatieve en cross-modale modelleringcapaciteit. Het genereren van dichte bijschriften onder het token-voor-token paradigma beperkt echter de inferentie-efficiëntie aanzienlijk en belemmert de schaalbaarheid naarmate de videolengte en gebeurtenisdichtheid toenemen. In dit werk stellen we een geparalleliseerd autoregressief raamwerk voor dat niet alleen de generatie-efficiëntie verbetert, maar ook de tijdelijk gefundeerde bijschriftprestaties versterkt. Ons belangrijkste inzicht is het benutten van de zwakke lokale afhankelijkheden tussen temporeel verschillende gebeurtenissen om de causale afhankelijkheidsgraaf te herstructureren, waardoor verliesloze parallelle generatie mogelijk wordt. Specifiek kunnen tokens met zwakke cross-evenementafhankelijkheden parallel worden gedecodeerd, terwijl sterk gekoppelde tokens binnen elke gebeurtenis sequentieel decoderen behouden om de lokale semantische coherentie te waarborgen. Om dit inzicht te realiseren introduceren we twee kerncomponenten voor verliesloze parallelle decodering: (1) een latent globaal planningsmechanisme dat automatisch de gebeurtenisniveau-structuur leert en compacte tokens produceert die de globale inter-gebeurteniscausaliteit coderen, terwijl het adaptief gebeurtenisniveau audio-visuele semantiek aggregeert, wat de daaropvolgende afhankelijkheidsherstructurering en parallelle decodering begeleidt; en (2) een gebeurtenis-gefactoriseerd parallel decodermechanisme dat effectief lokale focus met globaal inter-gebeurtenisbewustzijn in evenwicht brengt. Experimenten op verschillende benchmarks tonen het duidelijke voordeel van onze aanpak in zowel efficiëntie als prestatie in omni-modale gebeurtenisgronding en bijschriftgeneratie. Projectwebsite: https://github.com/showlab/PadCaptioner.
Ondanks de recente vooruitgang van VLA-fundamentmodellen blijft de kloof tussen laboratoriumomstandigheden en toepassingen in de praktijk een belemmering voor hun daadwerkelijke implementatie. Om deze kloof te overbruggen presenteren we LingBot-VLA 2.0, een verbetering van LingBot-VLA op drie functionele domeinen. (1) Generalisatie over taken en belichamingen. Vergeleken met de vorige versie hebben we de dataproverwerkingspijplijn herzien en ongeveer 60.000 uur aan data samengesteld voor pretraining, waaronder 50.000 uur aan robottrajecten verspreid over 20 robotconfiguraties en 10.000 uur aan egocentrische menselijke video's. (2) Uitgebreide actieruimte naast hardwareplatformen met twee armen. In het bijzonder ondersteunt ons systeem vrijheidsgraden voor hoofden, tailles, mobiele bases en behendige handen, waardoor robots worden bekrachtigd om complexere taken aan te pakken in praktische scenario's. (3) Voorspellende dynamica-modellering voor verbeterd temporeel redeneren. Specifiek formuleren we toekomstvoorspelling als een proxitaak, ondersteund door een videorepresentatiemodel voor semantische voorkennis en een diepteschattingsmodel voor geometrische aanwijzingen. Evaluaties op de GM-100 benchmark, uitgevoerd in een generalistische setting, bevestigen de gunstige impact van deze voorgestelde aanpassingen. Bovendien, profiterend van de uitgebreide pretrainingdata die vrijheidsgraden van het hele lichaam omvat, toont LingBot-VLA-2.0 een sterk cross-embodiment vermogen tot mobiele manipulatie over lange tijdsperioden op de twee robotplatforms.
On-policy distillatie (OPD) traint een studentenbeleid door een sterkere leraar te matchen op de eigen trajecten van de student, wat een veelbelovend raamwerk biedt voor het trainen van taalagenten. De toepassing ervan op langetermijn-agenttaken blijft echter onvoldoende onderzocht. We identificeren twee belangrijke inefficiënties in vanilla agent OPD: (1) volledige-horizon rollouts verspillen vaak wandklokresources aan staartbeurten die zwakke en ruizige KL-supervisie bieden, en (2) trajectniveau KL-doelstellingen concentreren het grootste deel van het verlies op ondiepe tokens, waardoor diepere beslissingsbeurten ondergetraind blijven zodra initiële gedragingen zijn afgestemd. Om deze uitdagingen aan te pakken, stellen we TurnOPD voor, een beurtniveaubudgetteringsstrategie voor efficiënte on-policy distillatie van langetermijnagenten. TurnOPD bestaat uit twee budgetcontroleurs: adaptieve rollout-dieptebudgettering, die op probes gebaseerde beurtstatistieken gebruikt om de roll-outlengte te bepalen, en progressieve beurtgenormaliseerde verliesbudgettering, die geleidelijk de KL-weging verschuift van token-niveau naar beurtgebalanceerde supervisie. Experimenten op ALFWorld, WebShop en Multi-Hop Search met taakgespecialiseerde leraarmodellen tonen aan dat TurnOPD superieure validatienauwkeurigheid behaalt onder gelijke wandkloktrainingsbudgetten en de nauwkeurigheid-tijdgrens voorbij vanilla OPD verlegt.
We introduceren MentalThink, een visueel-symbolisch redeneerparadigma dat multimodale LLM's (MLLM's) voorziet van een uitvoerbaar mechanisme voor 'mentale' visualisatie. De kern van MentalThink is een think-with-SVG-pijplijn, waarbij het model leert om schaalbare vectorafbeeldingen (SVG) te genereren, renderen en interpreteren als een tussenliggende visuele representatie voor meerstapsredeneringen. Door het creëren van gestructureerde vectorschetsen kan het model ruimtelijke hypothesen externaliseren, deze inspecteren via deterministische weergave en redeneren binnen een beperkte geometrische ruimte, waarmee het menselijke proces van mentale beeldvorming effectief wordt nagebootst. We implementeren dit paradigma via een tweefasig trainingsframework, waarbij we Supervised Fine-Tuning (SFT) voor SVG-syntactische uitlijning combineren met meerstaps Reinforcement Learning (RL) om iteratieve inspectie, herziening en verfijning van tussenliggende visuele hypothesen te stimuleren. Uitgebreide evaluaties tonen aan dat MentalThink superieure prestaties levert op benchmarks voor ruimtelijk begrip en redeneren (bijv. 55,1% op VSIBench, 76,0% op MindCube), wat aantoont dat uitvoerbare vectorafbeeldingen een verifieerbare visuele werkruimte bieden voor dynamisch perspectief nemen, visuele reflectie en compositorische scèneconstructie.
Versterkend leren (RL) voor niet-verifieerbare instructie-opvolging steunt steeds vaker op LLM-beoordelaars met promptspecifieke rubrieken als beloningssignalen. Hoewel recente methoden deze rubrieken tijdens de training aanpassen aan het evoluerende beleid, blijven de trainingsprompts zelf statisch, afkomstig uit vaste corpora. Deze statische aanpak leidt vaak tot een kritieke mismatch tussen promptmoeilijkheid en beleidscompetentie, waardoor de beoordelaar geen discriminerend beloningssignaal kan herstellen wanneer prompts er niet in slagen kwaliteitsvariantie tussen rollouts teweeg te brengen. Om deze mismatch aan te pakken introduceren we LLM-as-a-Tutor, een raamwerk dat de rol van de LLM uitbreidt van beoordelaar naar tutor: één enkel model fungeert zowel als examinator die beleidsrollouts paarsgewijs vergelijkt om niet-uitdagende prompts te detecteren, als als generator die atomaire beperkingen aan deze prompts toevoegt. Dit uitsluitend toevoegende ontwerp verhoogt monotoon de moeilijkheid in stap met de competentie van het beleid, wat leidt tot een zelfkalibrerend trainingssignaal zonder externe moeilijkheidsschema's. Op drie complexe instructie-opvolgingsbenchmarks presteert onze methode consistent beter dan zowel beleidsongevoelige baselines als eerdere beleidsadaptieve methoden die rubrieken aanpassen of prompts herschrijven, wat suggereert dat promptadaptatie een ontbrekende as van beleidsbewustzijn is in niet-verifieerbaar RL.
De recente vooruitgang in grootschalige generatieve modellen heeft de videogeneratie aanzienlijk verbeterd, maar bestaande methoden blijven beperkt door een rigide inferentieparadigma. Bidirectionele diffusiemodellen blinken uit in globale coherentie en visuele getrouwheid, maar lijden onder trage inferentie, terwijl autoregressieve modellen efficiënte en gestreamde generatie bieden ten koste van consistentie op lange termijn en exposure bias. We introduceren Flex-Forcing, een uniform trainings- en inferentiekader dat een videodiffusiemodel in staat stelt naadloos te werken onder zowel bidirectionele als autoregressieve generatieregimes. Het kernidee is een flexibel chunkingmechanisme dat gezamenlijk wordt gedefinieerd over de temporele as en de denoisingstappen. Dit ontwerp stelt het model in staat om (1) flexibel chunking uit te voeren volgens verschillende apparaatbudgetten, (2) bidirectionele inferentie over chunks heen uit te voeren voor globale structuurplanning, terwijl het binnen elke chunk frames autoregressief genereert voor efficiënte en fijnmazige synthese, en (3) autoregressieve generatie in elke volgorde en op elke tijdstap uit te voeren zonder de strikte causale beperking. Uitgebreide experimenten op meerdere videogeneratiebenchmarks tonen aan dat Flex-Forcing consistent betere videokwaliteit en stabiliteit voor lange video's behaalt dan sterke baselines met een rigide inferentieschema, terwijl het een snellere inferentie biedt.
Complex beeldcreatie en -bewerking vereisen vaak meer dan één enkel generatie- of bewerkingsmodel. Een gebruikersverzoek kan het synthetiseren van afbeeldingen, lokaliseren van objecten, segmenteren van regio's, bewerken van geselecteerde inhoud, samenstellen van tussenliggende assets, lezen van tekst en verbeteren van het eindresultaat omvatten. Dergelijke taken verschuiven multimodale agenten van perceptie-verbeterde redenering naar manipulatiegerichte visuele creatie, waarbij tools actief visuele toestanden moeten transformeren in plaats van ze alleen te inspecteren. Bestaande multimodale agenten voor toolgebruik zijn echter meestal geoptimaliseerd voor perceptie, zoekopdrachten of domeinspecifieke bewerking, en missen grootschalige supervisie voor uitvoerbare beeldcreatietrajecten. In dit artikel introduceren we CanvasCraft, een grootschalige multimodale dataset voor toolgebruik voor complexe beeldcreatie en -bewerking, en CanvasAgent, een met tools verrijkte multimodale agent die leert om heterogene visuele tools te orkestreren via multi-turn interactie. CanvasCraft bevat 140K volledig geannoteerde uitvoerbare trajecten en 10K RL-taakspecificaties. CanvasAgent wordt eerst getraind met SFT om uitvoerbare redenerings-actietrajecten te leren, en vervolgens geoptimaliseerd met GRPO met behulp van een hybride beloning die zowel uitkomst- als procesniveausignalen combineert. Tijdens de uitrol inspecteert CanvasAgent tussenresultaten, volgt het visuele assets en past het toolbeslissingen aan op de evoluerende visuele toestand. Experimenten evalueren zowel de uiteindelijke beeldkwaliteit als het trajectgedrag, wat de effectiviteit van CanvasAgent en de voorgestelde dataset voor complexe multi-tool beeldcreatieworkflows aantoont.
Uitdagingen blijven bestaan bij egocentrische 3D-scènengeneratie door beperkte zichtoverlap en de dominante invloed van individuele perspectieven op scène-interpretatie. Deze factoren belemmeren het creëren van perspectiefconsistente en semantisch afgestemde visuele inhoud, evenals de constructie van nauwkeurige geometrische structuren. In dit artikel stellen we CGGS voor, een tekst-naar-3D-raamwerk dat gericht is op het verbeteren van 3D-inhoudsbewustzijn en het aanpakken van geometrische vervormingen in egocentrische scènengeneratie. Ten eerste wordt de Egocentrische Generator voorgesteld door een Multi-View Latent Diffusiemodel te finetunen met een consistentie-verbeterde verliesfunctie om consistente, hoogwaardige 2D-inhoud te genereren die is afgestemd op tekstuele beschrijvingen. Vervolgens maakt de Layout Decorator gebruik van optische stroom en puntspoorcorrespondentie om diepte te schatten, waardoor dichte puntenwolken als grove layout worden geproduceerd uit de egocentrische 2D-priors. Op basis van deze initialisatie wordt de Geometrische Verfijner voorgesteld om 3D Gauss-herconstructie te verbeteren via een entropie-gebaseerd Mutual Information Depth Loss (MID), gecombineerd met een hiërarchisch optimalisatieschema voor verbetering van visuele kwaliteit en geometrische structuur. Uitgebreide experimenten tonen aan dat CGGS beter presteert dan eerdere methoden in het genereren van coherente en nauwkeurige tekstgestuurde 3D-scènes. Projectpagina: https://cggs-26.github.io/cggs26/.
State-of-the-art 3D-reconstructiemethoden uit één beeld vertrouwen vaak op complexe hybride architecturen en verliesfuncties, of comprimeren geometrie in latente ruimtes om gebruik te kunnen maken van voorgetrainde latente diffusiemodellen. In dit werk tonen we aan dat dergelijke architecturale overhead en ingewikkelde verliesformuleringen overbodig zijn. We introduceren een minimalistische diffusietransformator in pixelruimte, gebouwd op een gewone ViT, die rechtstreeks werkt op ruwe 3D-puntkaartpatches en wordt geconditioneerd op beeldtokens van een voorgetrainde DINOv3. In tegenstelling tot bestaande latente diffusiebenaderingen trainen we onze diffusiebackbone volledig vanaf de basis, waardoor puntkaarttokenizers overbodig worden. Ondanks de eenvoud overtreft onze aanpak complexe latente-gebaseerde diffusiemodellen, terwijl hij aanzienlijk eenvoudiger blijft dan hybride alternatieven. Opvallend is dat hij scherpere geometrische structuren produceert en robuuster is in sterk ambigue regio's, zoals bij transparante objecten.
We introduceren Nemotron-Labs-Diffusion, een driemodus-taalmodel (TM) dat AR, diffusie en zelfspeculatie-decodering verenigt in één architectuur. Getraind met een gezamenlijke AR-diffusiedoelstelling, kan Nemotron-Labs-Diffusion van modus wisselen om een hoge doorvoer te handhaven in verschillende implementatieomgevingen en concurrrentieniveaus. Ons onderzoek toont aan dat (1) AR- en diffusiedoelstellingen complementair zijn: diffusie verbetert de vooruitkijkplanning, terwijl AR links-naar-rechts taalkundige priori's biedt. (2) In de zelfspeculatiemodus stelt diffusie concepten op terwijl AR verifieert, wat zowel in acceptatiegraad als in praktische efficiëntie op apparaten beter presteert dan methoden voor meerdere-tokenvoorspelling (MTP). (3) Een lichtsnelheidsanalyse toont verder het langetermijnpotentieel van diffusie aan, met tot 76,5% meer tokens per forwardpass dan zelfspeculatie onder een optimale sampler. Bij opschaling naar 3B, 8B en 14B parameters presteert onze Nemotron-Labs-Diffusion-familie, inclusief basis-, instructie- en visie-taalmodellen, consistent beter dan de modernste open-source AR- en diffusie-TM's in zowel nauwkeurigheid als snelheid. Zo decodeert Nemotron-Labs-Diffusion-8B 6x meer tokens per forwardpass dan Qwen3-8B met vergelijkbare nauwkeurigheid, wat resulteert in een 4x hogere doorvoer op SPEED-Bench met SGLang op een GB200-GPU.
Groepsrelatief Beleidsoptimalisatie (GRPO) is effectief wanneer het huidige beleid al bruikbare redeneertrajecten bemonstert, maar stagneert bij moeilijke prompts waarvan de correcte oplossingsmodi buiten de ondersteuning van het studentenbeleid liggen. Wij stellen TREK (Teacher-Routed Exploration via Forward KL) voor, een eenvoudige gefaseerde procedure die distillatie niet gebruikt voor imitatie, maar voor uitbreiding van de exploratieondersteuning. Een belangrijk voordeel van TREK is zijn algemeenheid: omdat het alleen geverifieerde uitvoertrajecten verbruikt, kan het een externe black-box-leraar, een white-box-leraar, of hetzelfde model met extra inferentiecontext gebruiken, en het kan efficiënt identificeren welke moeilijke-prompt-monsters het meest de moeite waard zijn om te consolideren, zelfs wanneer interne leraargegevens niet beschikbaar zijn. TREK identificeert eerst prompts waarbij de onbegeleide student een zeer laag slagingspercentage heeft, vraagt een voorstelbron om geverifieerde kandidaatoplossingen te produceren, behoudt de top-r voorstellen gerangschikt op huidige studentwaarschijnlijkheid, past een korte forward-KL-fase toe om die geverifieerde modi in de ondersteuning van de student te trekken, en keert dan terug naar standaard on-policy GRPO-verfijning. Bij wiskundig redeneren verbetert TREK met DeepSeek-V4-voorstellen Qwen3-modellen op alle geteste schalen op AIME 2024 en AIME 2025; voor Qwen3-8B verbetert het AIME 2025 van 36,9 naar 40,3 en AIME 2024 van 47,9 naar 51,1 (avg@16), terwijl de zelfcontextvariant 38,5 en 49,6 bereikt zonder externe leraar. Bij agentische taken verhoogt TREK het ALFWorld-succespercentage van 75,8 naar 82,8 en het ScienceWorld-succespercentage van 12,5 naar 26,7; opmerkelijk is dat TREK bij de moeilijkste taaktypen al vroeg in de training hoge succespercentages behaalt, terwijl onbegeleide GRPO aanzienlijk meer optimalisatiestappen nodig heeft om vergelijkbare niveaus te bereiken.
We introduceren Rank-Then-Act (RTA), een raamwerk voor het leren van controleringsbeleid op basis van expertvideodemonstraties zonder omgevingsbeloningen. RTA traint een Vision-Language Model (VLM) offline als een op voortgang gebaseerde ordinale scorer, met behulp van een Group Relative Policy Optimization (GRPO)-doelfunctie over geschudde framereeksen, waardoor het model wordt gedwongen temporele ordening uit visuele semantiek te herstellen in plaats van uit triviale tijdsaanwijzingen. Belangrijk is dat we, in plaats van de scorer direct als een scalair beloningsmodel te gebruiken, een op correlatie gebaseerde beloningsfunctie voor reinforcement learning voorstellen: bij elk interactievenster berekenen we de Spearman-rangcorrelatie tussen voorspelde voortgangsranglijsten en werkelijke temporele indices, wat een begrensd, schaalinvariant leersignaal oplevert. Dit ontwerp ontkoppelt het leren van beloningen van absolute kalibratie en maakt stabiele overdracht tussen taken en omgevingen mogelijk. We evalueren RTA op discrete besturingsbenchmarks (PyBoy: Catrap, Kirby) en continue besturingstaken (PointMaze, MetaWorld). RTA presteert consequent even goed of beter dan eerdere op video gebaseerde methoden voor het leren van beloningen en op ranglijsten gebaseerde baselines, en vertoont een sterke cross-task-hergebruik van een enkele vooraf getrainde voortgangsscorer. Onze resultaten suggereren dat correlatiegestructureerde supervisie over van video afgeleide ordinale signalen voldoende is voor beleidsleren, en biedt een schaalbare alternatief voor expliciet beloningsontwerp.
Late-interactie retrievalsmodellen die gebruikmaken van de MaxSim-gelijkenisfunctie hebben sterke empirische prestaties laten zien, waarbij ze vaak beter presteren dan enkel-vector dichte en schaarse retrievalsmodellen. Ondanks deze empirische bevindingen is er weinig bekend over de theoretische representatiekracht van MaxSim en hoe deze zich verhoudt tot andere retrievalbenaderingen. Dit artikel toont door constructie aan dat MaxSim-gelijkenis exact het inwendige product kan repliceren tussen twee niet-negatieve k-schaarse vectoren met mogelijk oneindige dimensie, daarbij slechts O(k) representatieruimte nodig hebbend. Bovendien bestaan er gelijkenissen die MaxSim kan uitdrukken terwijl standaard vectorinwendige producten met dezelfde representatieruimte dat niet kunnen. Gebruikmakend van ons theoretisch kader introduceren we Signed MaxSim, waarmee late-interactiemodellen exact elk reëelwaardig inwendig product kunnen repliceren, iets waarvan we bewijzen dat standaard MaxSim daartoe niet in staat is. We tonen ook aan dat MaxSim kan fungeren als een aggregatie van soft-OR-operaties en als een evaluator van logische uitdrukkingen in positieve Conjunctieve Normaalvorm. Onze bevindingen tonen aan dat MaxSim minstens zo capabel is als standaard vectorinwendige producten voor alle niet-negatieve vectoren, en onze uitbreiding, Signed MaxSim, is even capabel voor alle vectoren. Beide gelijkenissen bezitten extra mogelijkheden die het inwendige product niet kan repliceren, wat een van de eerste theoretische rechtvaardigingen en kwantificeringen van late-interactiemethoden markeert. Onze theoretische bevindingen worden empirisch ondersteund: in een retrievaltaak met queries die ontkenningen bevatten, verbetert Signed MaxSim de out-of-domain-prestaties significant ten opzichte van een standaard ColBERT/MaxSim-baseline, waarbij nDCG@10 stijgt van 0,597 naar 1,000 onder een vocabulaireverschuiving en van 0,008 naar 0,788 bij alleen-ontkenningsqueries.
LLM-agenten vertrouwen steeds vaker op retrievalbuffers om eerdere ervaringen op te slaan en te hergebruiken, maar het cachebeheerbeleid dat deze buffers regelt, blijft grotendeels ad-hoc. We formaliseren dit als een online semantisch cachevervangingsprobleem met wisselkosten, waarbij items worden vergeleken op basis van embeddingsimilariteit en de raakkwaliteit continu is in plaats van binair. Via experimenten op twee datasets uit MemoryBench-Full (LoCoMo, DialSim) met 8 vervangingsbeleidsregels onthullen we een verrassende bevinding: klassieke heuristieken (LRU, LFU) presteren consequent slechter dan de naïeve FIFO-baseline op semantische workloads, vanwege het ontbreken van temporele localiteit en frequentieconcentratie. We stellen SOLAR voor, een leerversterkt raamwerk dat aanpassingstijdstippen afleidt uit spijtaccumulatie (wat leidt tot een modificatiepercentage van sim17%) en inhoudsselectie uit Bayesiaans online leren over impliciete retrievalfeedback. We bewijzen dat SOLAR een constante concurrentieverhouding ≤ 3 bereikt, onafhankelijk van cachegrootte en horizon (tegenover Ω(K) voor FIFO), en een uitzettingsspijt van O(KT log T), wat de ondergrens van Ω(KT) tot op logaritmische factoren benadert. Experimenten tonen een relatieve verbetering van 5–75% ten opzichte van FIFO bij krappe cachegroottes, met een duidelijk gekarakteriseerde faseovergang aan de werkverzamelinggrens. Synthetische experimenten met pools van 5000 items onthullen verder een omgekeerde U-relatie tussen poolgrootte en retrievalkwaliteit, wat capaciteitsbeperkingen rechtvaardigt als een fenomeen van retrievalruis in plaats van een opslagbeperking.
Wiskundig redeneren is een centrale taak geworden voor het evalueren en afstemmen van redenerende grote taalmodellen (LLM's), maar bestaande benchmarks blijven sterk vertekend richting talen met hoge resourcebeschikbaarheid, waarbij Engels en Chinees zowel de pre-trainingscorpora als de evaluatiesuites domineren. De recent gepubliceerde PolyMath-dataset (Wang et al., 2025) vormt een belangrijke stap vooruit, maar de dekking ervan blijft beperkt tot slechts 18 talen met hoge resourcebeschikbaarheid. Om deze lacune aan te pakken introduceren we PluraMath, een uitbreiding van PolyMath naar 18 extra ondervertegenwoordigde talen uit 6 taalfamilies – variërend van midden-resource tot extreem lage-resource settings. We hebben de dataset geconstrueerd via een menselijk samengestelde pijplijn, waarbij moedertaalsprekers de vooraf berekende vertalingen grondig hebben gevalideerd. Met behulp van PluraMath benchmarken we vervolgens 27 redenerende LLM's over vier modelschalen – klein, middelgroot, groot en gesloten-bron ensembles – en onderzoeken we de meertalige wiskundige redeneervaardigheden van state-of-the-art modellen onder diverse taalkundige omstandigheden. Onze fijnmazige analyse bevestigt een aanhoudende kloof in wiskundige redeneerprestaties tussen hoog-resourcetalen en ondervertegenwoordigde talen, waarbij sterkere resultaten grotendeels samenhangen met een beter instructievolgende vaardigheid. We stellen onze dataset, data-acquisitiepijplijn en evaluatieframework volledig open-source beschikbaar, met als doel de drempel voor meertalige benchmarkontwikkeling voor ondervertegenwoordigde gemeenschappen te verlagen.
Multimodale grote taalmodellen (MLLM's) genereren antwoorden autoregressief, waarbij visuele en taalkundige informatie worden geïntegreerd in een evoluerende context. Eerder werk over interpreteerbaarheid heeft zich gericht op individuele lagen en circuits (waar), waarbij de dynamiek op token-niveau van multimodale berekeningen tijdens generatie (wanneer) onderbelicht blijft. Wij vullen deze leemte aan en bestuderen aandachtsverschuivingen per semantische rol; door de aandacht van het model voor afbeeldingen, tekst, instructies en eerder gegenereerde tokens te volgen, Eén Token per Keer (One Token at a Time, OTaT). Wij introduceren multimodale taken die expliciet schakelen tussen visuele en tekstuele context binnen één enkele respons vereisen. Bij twee gangbare modelfamilies en vier open-weight MLLM's van verschillende grootten stellen we consistente patronen vast: aandacht voor afbeeldingen piekt bij tokens die beeldinformatie nodig hebben, instructietokens worden opnieuw bezocht tijdens taakovergangen, en aandacht voor eerder gegenereerde tokens neemt toe naarmate de generatie vordert. Causale aandachtblokkerende interventies bevestigen de functionele rol van deze trends. Wij profileren modelgedrag onder verstoorde aandacht en observeren antwoorden die terugvallen op taalpriors, of die crossmodale lekkage, ontkenning of herstel vertonen. Ten slotte, geïnformeerd door de aandachtsdynamiek via onze nieuwe analyse, stellen we een eenvoudige testtijdinterventie voor om de aandacht voor de relevante modaliteit op het juiste moment te versterken, wat de prestaties op multimodale taken aanzienlijk verbetert.
Hiërarchische Vision-Language-Action (VLA) modellen ontkoppelen planning op hoog niveau van besturing op laag niveau om generalisatie in robotmanipulatie te verbeteren. Recent werk binnen dit paradigma gebruikt 2D-eindeffector-trajectorieën voorspeld door een Vision-Language Model (VLM) als expliciete begeleiding voor een downstream beleid. Echter, state-of-the-art beleid op laag niveau werkt in 3D-metrische ruimte op puntenwolken, en het voeden ervan met 2D-begeleiding die diepte mist, dwingt elk waypoint de diepte toegewezen te krijgen van het scèneoppervlak dat eronder ligt, wat geometrisch vervormde trajectorieën oplevert. Wij stellen 3D HAMSTER voor, een hiërarchisch raamwerk dat deze kloof overbrugt door de planner direct metrisch betrouwbare 3D-trajectorieën te laten uitvoeren. We breiden een VLM uit met een speciale diepte-encoder en een dichte dieptereconstructiedoelstelling om 3D-waypoint-reeksen te voorspellen, die direct worden geïntegreerd in een op puntenwolken gebaseerd beleid op laag niveau. Over 3D-trajectorievoorspelling, simulatie en manipulatie in de echte wereld heen, presteert 3D HAMSTER consistent beter dan propriëtaire VLM's en 2D-gestuurde basislijnen, met de grootste winst onder uiterlijkveranderende verschuivingen en ongeziene taal-, ruimtelijke en visuele omstandigheden. De projectpagina is beschikbaar op https://davian-robotics.github.io/3D_HAMSTER/.
We presenteren HunyuanOCR-1.5, een lichtgewicht end-to-end visie-taalmodel gespecialiseerd in OCR. HunyuanOCR verenigt documentparsing, tekstherkenning, informatie-extractie, tekst-beeldvertaling en meervoudig beelddocumentbegrip binnen één enkel end-to-end VLM. Voortbouwend op de lichtgewicht architectuur van HunyuanOCR-1.0 herontwerpt HunyuanOCR-1.5 niet de backbone, maar verbetert het systematisch zowel efficiëntie als capaciteit. Voor efficiëntie passen we DFlash aan voor OCR-decodering, wat de latentie van lange gestructureerde uitvoer zoals dichte documenten, tabellen en formules aanzienlijk vermindert, terwijl de uitvoerverdeling behouden blijft. Dankzij DFlash behaalt HunyuanOCR-1.5 een 6,37x versnelling van de Transformer-inferentie en een 2,14x versnelling onder vLLM, wat de snelste inferentie levert onder lichtgewicht OCR-VLM's. Voor capaciteit introduceren we Agentic Data Flow, een agent-gestuurd dataconstructiesysteem dat modelzwaktes omzet in uitvoerbare datavereisten en autonoom materiaal zoeken, kwaliteitsverificatie en pijplijnontwikkeling uitvoert. Het verbetert substantieel de lange-staartcapaciteiten in oud-schrift OCR, fijnmazige grafiek- en tabelparsing, meervoudig beeld tekstgerichte QA, meertalige parsing met weinig bronnen, en documenthallucinatie-evaluatie. HunyuanOCR-1.5 behoort tot de top end-to-end OCR-oplossingen op OmniDocBench v1.6 en behaalt nieuwe prestatiedrempels in deze lange-staarttaken. In combinatie met een verbeterd recept voor pretraining en post-training breidt HunyuanOCR-1.5 zijn capaciteit verder uit in scenario's met hoge resolutie, lange context en meerdere taken. Experimenten tonen snellere inferentie, bredere OCR-capaciteitsdekking en de implementatievoordelen van een lichtgewicht end-to-end model. We zullen de modelgewichten en trainingscode vrijgeven om toekomstig onderzoek en praktijktoepassingen van OCR te ondersteunen.
Reinforcement learning (RL) is een centraal onderdeel geworden van de post-training van grote taalmodellen (LLM's), maar er is nog weinig bekend over hoe RL-aanpassing is verdeeld over transformerlagen. Bestaande benaderingen werken doorgaans alle modelparameters uniform bij, met de impliciete aanname dat elke laag een vergelijkbare bijdrage levert aan de winst die tijdens RL-post-training wordt behaald. In dit werk dagen we deze aanname uit door middel van een systematische laagsgewijze studie van RL-training. Verrassend genoeg vinden we dat het trainen van een enkele transformerlaag het grootste deel van de winst van volledige parameter-RL-training kan herwinnen, en in sommige gevallen deze zelfs overtreft. Om dit fenomeen te kwantificeren, introduceren we de grootheid laagbijdrage, die de fractie meet van de volledige RL-verbetering die wordt herwonnen door een laag geïsoleerd te trainen. Over zeven modellen uit twee modelfamilies (Qwen3, Qwen2.5), drie RL-algoritmen (GRPO, GiGPO, Dr. GRPO) en meerdere taakdomeinen, waaronder wiskundig redeneren, codegeneratie en agentische besluitvorming, observeren we een opmerkelijk stabiel patroon: RL-winst is sterk geconcentreerd in een kleine subset van, en in veel gevallen zelfs een enkele, transformerlaag. Nog opvallender is dat hetzelfde structurele patroon consequent naar voren komt: lagen met een hoge bijdrage concentreren zich in het midden van de transformerstack, terwijl lagen nabij de invoer- en uitvoerzijden aanzienlijk minder bijdragen. De resulterende laagrangschikkingen blijven sterk gecorreleerd over datasets, taken, modelfamilies en RL-algoritmen heen.
Codeeragenten genereren steeds vaker pull-aanvragen (PR's) voor realistische softwareproblemen, maar eenmalige PR-generatie blijft een open-lus: de PR wordt voorgesteld zonder systematische beoordeling, diagnose of herziening. Wij introduceren SWE-Review, een raamwerk om deze lus te sluiten met agentische codereview. Gegeven een issue en een AI-gegenereerde PR verkent een revieweragent de repository, beslist of de PR moet worden geaccepteerd, en biedt gestructureerde feedback voor revisie. We evalueren deze setting met onze voorgestelde SWE-Review-Bench om zowel de juistheid van de beoordeling als de bruikbaarheid van stroomafwaartse revisie te meten. Verder stellen we de SWE-Review-Traj-dataset samen om bredere toepassingen van agentische review te bestuderen en het gebrek aan gegevens voor open reviewertraining op te vullen. Experimenten tonen aan dat agentische review PR's continu verbetert via een genereer-beoordeel-reviseer-lus, beter presteert dan een eenmalige beoordeling met vaste context in zowel beslissingsnauwkeurigheid als oplossingssnelheid na revisie, zich uitstrekt tot verbetering van issue-oplossingsmodellen, en effectieve en efficiënte testtijdschaling mogelijk maakt. Deze resultaten positioneren agentische codereview als een praktisch mechanisme om AI-codeeragenten van eenmalige PR-generatie naar gesloten-lus issue-oplossing te verplaatsen.
Audiovisuele kunsten omvatten diverse creatieve disciplines, waaronder filmkunst, beeldende kunst, podiumkunsten en gameontwerp, waarbij artistieke betekenis voortkomt uit doordachte combinaties van visuele, auditieve en narratieve elementen (bijvoorbeeld angst versterkt door claustrofobische kadrering, of verdriet overgebracht door stilte en langdurige close-ups). Werkelijk artistiek begrip gaat verder dan het herkennen van wat wordt afgebeeld; het omvat redeneren over waarom iets wordt uitgedrukt door specifieke creatieve keuzes. Ondanks de sterke vooruitgang van multimodale grote taalmodellen (MLLM's) blijft dit cruciale aspect van artistiek begrip onderbelicht, omdat bestaande benchmarks grotendeels perceptuele herkenning meten en voorbijgaan aan redeneren over creatieve intentie. Om deze leemte aan te pakken introduceren we Musebench, een uitgebreide benchmark die is ontworpen om MLLM's te evalueren op genuanceerd artistiek begrip. Deze benchmark omvat 4.016 vragen over filmkunst, statische beeldende kunst, podiumkunsten en gamekunst, gedestilleerd uit meer dan 10K kandidaat-video-essays die professioneel commentaar combineren met visuele demonstratie. Om het open karakter van artistieke analyse op schaal te vatten, combineert de benchmark enkelkeuzevragen en meerkeuzevragen met variabele opties. Alle vragen worden gegenereerd en verfijnd via een vierfasige iteratieve pijplijn met shortcutfiltering, tegenstrijdige afleiders en expertvalidatie. Uit een uitgebreide zero-shotevaluatie van 28 state-of-the-art MLLM's blijkt dat zelfs het best presterende model slechts 48,29% nauwkeurigheid bereikt, aanzienlijk lager dan de menselijke expertprestatie van 87,18%, wat een significante kloof in de creatieve domeinexpertise van huidige modellen blootlegt.
Visie-Taal-Actie (VLA) modellen worden doorgaans getraind door imitatieleren op grootschalige robotdemonstratiedatasets, maar meer data leidt niet noodzakelijk tot betere beleidsstrategieën vanwege redundantie, ruis en ongelijke dekking. Bestaande methoden voor gegevensselectie beoordelen demonstraties vaak op het niveau van trajecten of toestand-actie, waarbij ze de herbruikbare structuren die langetermijngedragingen vormen, missen. In dit artikel stellen we SIEVE voor, een structuurbewuste gegevensselectiemethode voor VLA-imitatieleren. SIEVE beschouwt demonstraties als composities van herbruikbare primitieven en overgangsinterfaces. Het ontdekt eerst visuomotorische primitieven uit gesegmenteerde trajecten, wijst vervolgens selectiebudgetten toe aan compositiepatronen door het maximaliseren van herbruikbaarheidsbewuste structurele blootstelling onder afnemende meeropbrengsten. Ten slotte selecteert het medoïde trajecten binnen elke op compositiepatroon gebaseerde groep om centrale, stabiele en imitatievriendelijke demonstraties te behouden. Experimenten met meerdere datasets, benchmarks en VLA-modellen tonen aan dat SIEVE consequent beter presteert dan concurrerende basislijnen voor gegevensselectie. Opmerkelijk is dat SIEVE volledige datatraining kan overtreffen terwijl het slechts 50% van de demonstraties en 50% van de trainingsstappen gebruikt, wat suggereert dat herbruikbare structuur, vastgelegd via primitieven en overgangen, een belangrijk signaal is voor efficiënt VLA-imitatieleren.
Elk chemisch taalmodel dat SMILES leest, begint met een tokenizer, maar het vakgebied heeft bytepaar-encodering (BPE) uit de natuurlijke taal overgenomen met weinig kritische beschouwing. In natuurlijke taal staat het belangrijkste alternatief voor BPE, Unigram-LM, bekend om structureel verschillende vocabulaires te bouwen. Of dat contrast ook in de chemie standhoudt, was onbekend. Wij rapporteren een gecontroleerde vergelijking van BPE en Unigram-LM over een vaste basis van 165 chemische tokens, bij de kleine vocabulairegroottes waar tokenembeddings leerbaar zijn, over drie corpus typologieën (divers, geneesmiddelachtig, natuurproducten) en beide pre-tokenisatie-grensregels. De twee convergeren niet. In alle 22 overeenkomstige omstandigheden bouwen ze bijna disjuncte subwoordvocabulaires: de Jaccard-overlap tussen de algoritmen op de geleerde stukken overschrijdt nooit 0,161, en maximaal 0,05 wanneer gewogen naar de hoogfrequente stukken die een model het meest bijwerkt. Unigram-LM segmenteert ook achtergehouden moleculen in 29–41% meer tokens; beide methoden zijn het grotendeels eens over waar te snijden, maar niet over hoe diep, dus BPE's segmentatie is een strikte verruwing van die van Unigram-LM bij 80–99% van de moleculen. De scheiding houdt stand over corpus, grens en vocabulairegrootte, en blijft zelfs bestaan bij acht keer die schaal. Het subwoordalgoritme is daarom een modelleerbeslissing, geen vrijblijvende standaard. De studie traint geen taalmodellen.
Er bestaan significante verschillen in de diagnose en klinische presentatie van depressie tussen verschillende taalgemeenschappen. Spraakgebaseerde depressiedetectie presteert goed eentalig, maar cross-linguale generalisatie blijft een open uitdaging. Een belangrijke reden is dat eerder werk gebruikmaakt van willekeurige splitsingen op segmentniveau zonder sprekersgroepering, wat leidt tot identiteitslekken die de gerapporteerde metrieken opdrijven. Wij stellen CLeaD voor, een gesuperviseerd contrastief uitlijningsraamwerk dat WavLM-embeddings uit het Engels en Mandarijns in een gedeelde klinische ruimte projecteert, zonder parallelle data of fijnafstemming op de doeltaal. Bij evaluatie van 52 Mandarijnse sprekers presteert contrastieve uitlijning bescheiden beter dan de basislijn (F1: 0,640 vs. 0,622) onder 'leave-one-speaker-out'-evaluatie. Het verbetert ook de recall van de depressieklasse in tussenliggende lagen (7-8), hoewel de kleine testset de generaliseerbaarheid beperkt. Twee bevindingen blijven robuust: modelschaling verslechtert de cross-linguale prestaties terwijl het eentalig Engels verbetert, en spraakidentiteitslekken hebben eerder gerapporteerde Mandarijnse F1-scores kunstmatig opgedreven tot 0,954, een artefact dat wij reproduceren en kwantificeren.
Academische output wordt geproduceerd in een gefragmenteerde gereedschapsketen: literatuurontdekking in de ene applicatie, referentiebeheer in een andere, schrijven in een LaTeX-editor, handmatige opmaak volgens venuesjablonen, en indiening via weer een ander portaal. Elke scheidslijn tussen tools dwingt een contextwisseling, een formaatconversie of een handmatige kopieer-en-plakstap af, en de cumulatieve kosten overheersen de tijd die onderzoekers besteden aan activiteiten die geen onderzoek zijn. Wij presenteren Bibby AI, een editor-native platform dat deze gereedschapsketen samensmelt tot één enkele Research-Write-Publish-pijplijn, gebouwd rond een cloudgebaseerde LaTeX-editor. In tegenstelling tot assistenten die via een browserextensie aan een bestaande editor worden gekoppeld, beheert Bibby AI de volledige documentstatus, compilatiepijplijn en revisiegeschiedenis, waardoor de agenten retrieval-gestuurde citatie-invoeging, structurele bewerkingen en sjabloonconforme herformattering kunnen uitvoeren als eersteklas, verifieerbare bewerkingen in plaats van tekstsuggesties. Het platform integreert (i) innamepijplijnen die PDF, DOCX en handgeschreven wiskunde omzetten in schone LaTeX; (ii) een retrievallaag over wetenschappelijke metadata, verrijkt met patent-naar-artikel-citatiesignalen afkomstig uit USPTO PatentsView en het Marx-Fuegi-citatiecorpus, waarmee de translationele impact van kandidaatreferenties zichtbaar wordt; en (iii) taakgerichte agenten voor literatuurtriage, opstellen, reviseren en locatieopmaak, die rechtstreeks op de abstracte syntaxrepresentatie van het document werken. Bibby AI is in productie genomen en wordt gebruikt door meer dan 5.000 actieve onderzoekers van meer dan 50 deelnemende universiteiten. Wij beschrijven de architectuur, de ontwerpbeslissingen die editor-nativeness mogelijk maakt, en het raamwerk voor tijdswinst op workflowniveau dat wij gebruiken om het platform te evalueren ten opzichte van gefragmenteerde basislijnen.
We presenteren RuleChef, een raamwerk dat gebruikmaakt van grote taalmodellen (LLM's) om uitvoerbare regels te genereren voor NLP-taken zoals tekstclassificatie, Named Entity Recognition (NER) of relatie-extractie. Regels worden gegenereerd op basis van een taakbeschrijving en een reeks gelabelde voorbeelden, waarna ze iteratief worden verbeterd op basis van zowel aanvullende voorbeelden als menselijke feedback over bestaande regels. RuleChef kan ook worden gebruikt om regels op te starten via de waargenomen invoer-uitvoerparen van een bestaand model voor een bepaalde taak. LLM's worden alleen gebruikt tijdens de leertijd, waarbij regels worden gesynthetiseerd en iteratief worden aangepast op basis van fouten die zijn gemeten op een aparte hold-out-splitsing. Het resultaat van dit proces is een snel, deterministisch en inspecteerbaar regelsysteem. Een voorlopige evaluatie wordt uitgevoerd op zowel classificatie- als NER-taken. We brengen RuleChef uit als open-source software onder een Apache 2.0-licentie.
Geometrie-geconditioneerde 3D-scènergeneratie maakt het mogelijk om 3D-omgevingen te creëren op basis van door de gebruiker aangeleverde geometrie, wat directe controle biedt over de scènestructuur en objectindeling. Om dergelijke 3D-scènes te genereren, hanteren huidige methoden doorgaans een ontwerp in drie fasen: eerst wordt een view-schema gedefinieerd, vervolgens worden multi-view observaties gesynthetiseerd langs de geplande views, en ten slotte wordt een 3D-representatie gereconstrueerd uit de gegenereerde afbeeldingen. Het definiëren van het view-schema wordt echter een belangrijk knelpunt voor buitenscènes, waar grote, ongestructureerde en onbegrensde geometrie het moeilijk maakt om views te verkrijgen die voldoende dekking bieden en tegelijkertijd stabiele generatie ondersteunen. Om dit knelpunt aan te pakken, presenteren we SceneFrom3D, een raamwerk dat automatisch views plant op basis van buitengeometrieën als invoer. SceneFrom3D construeert een gerichte generatiegraaf waarvan de knooppunten ankerviews voorstellen en de randen interpolatietrajecten voorstellen, en definieert welke views gesynthetiseerd moeten worden, welke viewparen geïnterpoleerd moeten worden en in welke volgorde de generatie moet verlopen. Naast automatische viewplanning verbetert SceneFrom3D de beheersbaarheid verder door objectniveauconditionering, waarbij elk object een identiteitsafbeelding krijgt voor uiterlijksturing en een geometrie-nalevingsparameter voor regiogebonden controle over de invoergeometrie. Experimenten tonen aan dat SceneFrom3D state-of-the-art geometrie-geconditioneerde buitenscènegeneratie realiseert, met hoogwaardige scènes die een beheersbaar objectuiterlijk en geometrienaleving bieden.
Embodied navigation streeft ernaar agenten te bouwen die multimodale doelen interpreteren, in 3D-ruimte redeneren en betrouwbaar doelbestemmingen in de echte wereld bereiken. De vooruitgang wordt echter beperkt door het gebrek aan schaalbare, hoogwaardige en fysiek verankerde interactieve omgevingen. Hoewel gescande datasets uit de echte wereld visueel realisme bieden, worden ze beperkt door schaal. Synthetische simulatoren daarentegen zijn eenvoudiger schaalbaar, maar vertonen vaak grote sim-to-real hiaten. We introduceren Image2Sim, een real-time neuraal simulatiekader dat hoogwaardige interactieve omgevingen construeert uit geposeerde RGB-D-beeldreeksen. Het centrale idee is om 3D-ruimtelijke verankering te ontkoppelen van fotorealistische observatiesynthese. Voor scenoconstructie gebruikt Image2Sim een feed-forward feature-Gaussiaans model dat geposeerde RGB-D-observaties in één enkele doorgang omzet in een 3D-feature-Gaussiaanse representatie. Voor rendering stellen we een Geometry-Aware One-Step Pixel Flow-model voor dat schaarse en ruizige Gaussiaanse projecties transformeert in hoogwaardige panoramische RGB-D-observaties. Image2Sim dient ook als een volledig geautomatiseerde embodied data-engine die op schaal hoogwaardige observaties, uitvoerbare acties en uiteenlopende navigatie-instructies genereert. Het zet grote verzamelingen video's en afbeeldingen om in bijna 20K interactieve scènes en synthetiseert meer dan 10 miljoen navigatietrainingsvoorbeelden. Navigatiemodellen die volledig in deze neurale omgevingen zijn getraind, behalen sterke verbeteringen op belangrijke benchmarks en worden effectief overgedragen naar zero-shot-instellingen in de echte wereld. Deze resultaten suggereren dat schaalbare neurale simulatie kan dienen als een praktisch trainingssubstraat voor embodied navigation op schaal.
Recentelijk hebben Joint Embedding Predictive Architectures (JEPAs) aanzienlijke aandacht gekregen in de computer vision- en machine learning-gemeenschappen als een veelbelovend raamwerk voor zelfgecontroleerd representatieleren. In tegenstelling tot gemaskeerde auto-encoders die pixels reconstrueren, leren JEPA-modellen representaties door latente embeddings van gemaskeerde regio's te voorspellen. Bestaande op JEPA gebaseerde methoden, zoals I-JEPA en V-JEPA, maken doorgaans gebruik van een enkele encoder in het studentennetwerk. Daarentegen is het gebruik van Siamese encoders voor het studentennetwerk meer natuurlijk afgestemd op brein-geïnspireerde raamwerken voor representatieleren, maar hun rol in JEPA-modellen blijft grotendeels onontgonnen. In dit artikel onderzoeken we het effect van Siamese studentencoders in op JEPA gebaseerd representatieleren. Daartoe stellen we SiamJEPA voor, gemaskeerde Siamese studentencoders uitgerust met een exponentieel voortschrijdend gemiddelde (EMA) teacher-netwerk. SiamJEPA kan ook worden gezien als een JEPA-formulering van het brein-geïnspireerde representatieleermodel PhiNet. Door middel van uitgebreide experimenten met ImageNet lineaire probing tonen we aan dat Siamese encoders fungeren als een effectieve regularisator voor de JEPA-doelstelling, waardoor de scheidbaarheid van representaties verbetert en het leren wordt versneld tijdens de vroege stadia van training. Bovendien presteert SiamJEPA consistent beter dan vergelijkbare varianten met enkele encoder onder beperkte trainingsbudgetten en behaalt het een hogere nauwkeurigheid bij lineaire probing dan Masked Autoencoders (MAE), die langere training vereisen. Onze bevindingen laten zien dat Siamese studentencoders niet louter een architectonische keuze zijn, maar een belangrijke inductieve bias vormen voor predictief representatieleren. Deze resultaten bieden nieuwe inzichten in het ontwerp van op JEPA gebaseerde modellen en suggereren dat het opnemen van Siamese studentarchitecturen een eenvoudige maar effectieve benadering biedt voor het verbeteren van zelfgecontroleerd representatieleren.
Grote Audio-Taalmodellen (LALM's) worden steeds vaker geïntegreerd in dagelijkse toepassingen, maar hun generatieve vertekeningen blijven onderbelicht. Bestaande spraakrechtvaardigheidsbenchmarks maken gebruik van synthetische spraak en meerkeuzevragen (MCV's), die beide een gefragmenteerd beeld van rechtvaardigheid bieden. Wij stellen VIBE voor, een raamwerk dat generatieve vertekening evalueert via open taken zoals gepersonaliseerde aanbevelingen, gebruikmakend van door mensen opgenomen spraak. In tegenstelling tot MCV's laat onze methode stereotiepe associaties organisch tot uiting komen zonder vooraf gedefinieerde opties, waardoor deze eenvoudig uitbreidbaar is naar nieuwe taken. Evaluatie van 12 state-of-the-art LALM's onthult systematische vertekeningen in realistische scenario's. Zowel geslachts- als accentaanwijzingen veroorzaken statistisch significante distributieverschuivingen, en de vertekeningsgrootte is sterk taakafhankelijk.