Dagelijkse Papers

We introduceren Orca, een eerste instantiatie van een algemeen wereldfundamentmodel. Orca leert een uniforme latente wereldruimte aan de hand van multimodale wereldsignalen en stelt deze beschikbaar via multimodale uitleesinterfaces. In plaats van het optimaliseren van geïsoleerde volgende-token-, volgende-frame- of volgende-actie-voorspellingen, richten we ons op Next-State-Prediction-modellering, een uniforme toestandsovergangsmodelleringsroute naar het begrijpen, voorspellen en beïnvloeden van de wereld. Orca leert via twee complementaire paradigma's: onbewust leren legt dichte natuurlijke toestandsovergangen vast uit continue video's, en bewust leren modelleert spaarzame betekenisvolle toestandsovergangen met behulp van taal-beschreven gebeurtenissen en VQA-supervisie. Voor de pre-training hebben we een grootschalige gegevensinventaris voor wereldleren opgebouwd, waaronder 125.000 uur aan videogegevens en 160M gebeurtenisannotaties. Na pre-training leert Orca een uniforme latente wereldruimte. Om te onderzoeken of de geleerde latente ruimte downstream-toepassingen ondersteunt, evalueren we deze aan de hand van drie representatieve downstream-uitlezingen: tekstgeneratie, beeldvoorspelling en belichaamde actiegeneratie. De backbone van Orca blijft bevroren, en alleen de lichtgewicht modaal-specifieke decoders zijn trainbaar. Experimenten tonen de schaalbaarheid van het voorgestelde paradigma aan en bevestigen dat een sterkere latente wereldruimte leidt tot sterkere downstream-uitlezingen. Orca presteert beter dan vergelijkbaar grote gespecialiseerde basislijnen. Deze resultaten laten zien dat Orca, als algemeen wereldfundamentmodel, een veelbelovende benadering biedt voor het begrijpen, voorspellen en beïnvloeden van de wereld. Tot slot bespreken we de huidige beperkingen, met als doel nuttige inzichten en inspiratie te bieden voor de gemeenschap.

Programmaverificateurs spelen een centrale rol bij het trainen van codeeragenten, waaronder het selecteren van trajecten voor gesuperviseerde fine-tuning (SFT) en het verstrekken van beloningen voor reinforcement learning (RL). Standaard uitvoeringsgebaseerde verificatie vereist het uitvoeren van unit tests binnen per-repository-omgevingen zoals Docker-images, wat aanzienlijke kosten voor het opzetten van omgevingen met zich meebrengt. Wij stellen Dockerless voor, een omgevingsvrije agentische patchverificateur die gegenereerde codepatches beoordeelt zonder deze uit te voeren. In plaats van simpelweg kandidaat-patches te matchen met referenties, beoordeelt Dockerless de correctheid van patches op basis van bewijs dat is verzameld via agentische repository-verkenning. Op een verificateur-evaluatiebenchmark overtreft Dockerless de sterkste open-sourceverificateur met 14,3 AUC-punten. Door Dockerless te gebruiken als zowel de SFT-trajectfilter als de RL-beloning, wordt een volledig omgevingsvrije post-trainingpijplijn mogelijk. Het resulterende model bereikt een oplossingspercentage van respectievelijk 62,0%, 50,0% en 35,2% op SWE-bench Verified, Multilingual en Pro. Het overtreft de Qwen3.5-9B-baseline met 2,4, 8,7 en 2,9 punten en evenaart daarmee omgevingsgebaseerde post-training.

On-policy distillatie (OPD) biedt superieure capaciteitsoverdracht door het superviseren van door de student gesamplede trajecten met dichte signalen op token-niveau. Om hoogwaardige supervisiebronnen te leveren en daarmee de prestatiefrontier van distillatie te verhogen, is een intuïtieve richting om bevoorrechte informatie aan de leraar of de student zelf toe te voegen. Echter, deze extra invoer induceert een potentiële faalmodus die we privilege-illusie noemen: een patroon dat de overdraagbare capaciteitskloof die studenten moeten dichten, verwart met de informatie-asymmetriekloof die alleen kan worden nagebootst maar nooit gerepliceerd. Dit probleem wordt verder versterkt door de inherente niet-uniformiteit van token-niveau supervisie, waarbij slechts een kleine subset van tokens cruciale capaciteitsdragende signalen draagt. Daartoe stellen we DOPD voor, een voordeelbewust duaal distillatieparadigma dat dynamisch token-niveau supervisie routeert tussen bevoorrechte leraar- en bevoorrechte student-beleid, gebaseerd op hun voordeelkloof en relatieve kansen. Elk token ontvangt supervisie van verschillende sterkte, doelstelling en strategie van ofwel de leraar ofwel de student zelf, wat geloofwaardige capaciteit overdraagt terwijl het tegelijkertijd hulpsignalen ontvangt, om privilege-illusie te verlichten. Uitgebreide experimenten op zowel grote taalmodellen (LLM) als visie-taalmodellen (VLM) tonen aan dat DOPD consistent beter presteert dan Vanilla OPD en andere tegenhangers. Verdere resultaten op stabiliteit, robuustheid, continu leren en out-of-distribution taken valideren zijn superioriteit.

Speculatieve decodering versnelt inferentie door een lichtgewicht conceptmodel te gebruiken om parallel kandidaat-tokens te genereren, die vervolgens worden geverifieerd door het doelmodel, wat verliesvrije versnelling mogelijk maakt. Recentelijk verbetert diffusie-gebaseerde speculatieve decodering verder de parallelliteit door meerdere tokens per forward pass te genereren via blokniveau-diffusie, waarmee state-of-the-art (SOTA) prestaties worden behaald. Echter, bestaande methoden hanteren een vaste inferentieblokgrootte en nemen een uniforme optimale decoderingstrategie aan voor alle invoer. In dit artikel tonen we aan dat deze aanname suboptimaal is, aangezien de optimale blokgrootte varieert per sample en een cruciale rol speelt in de prestatie van speculatieve decodering. Bovendien vertonen deze waarden een duidelijke lokale structuur, geconcentreerd rond de trainingsblokgrootte, wat het probleem reduceert tot een laagdimensionale en gestructureerde beslissingsruimte. Op basis van deze inzichten stellen we BlockPilot voor, een sample-adaptief beleid dat de optimale blokgrootte voorspelt uit de prefilling-representatie. Specifiek formuleren we blokgrootte-selectie als een lichtgewicht beleidsleerprobleem en stellen we een instantie-adaptief beslissingsmechanisme voor dat de optimale blokgrootte voorspelt op basis van de representatie van de prefilling-fase. De voorspelling wordt slechts eenmaal uitgevoerd na prefilling, wat naadloze integratie mogelijk maakt. Uitgebreide experimenten tonen aan dat onze methode plug-and-play is, minimale overhead introduceert en consistent de efficiëntie verbetert, met een acceptatielengte van 5,92 en een 4,20 keer versnelling op Qwen3-4B bij temperatuur T=1.

Belichaamde Visie-Taal-Actie (VTA) modellen worden doorgaans verkregen door krachtige voorgetrainde VTM's fijn te stemmen op robotica-data, maar het is onduidelijk in hoeverre ze algemene en feitelijke kennis behouden na aanpassing. Fouten bij kennisgevoelige taken zijn dubbelzinnig en verwarren ontbrekende kennis met slechte generalisatie van laagniveaubesturing. We introduceren Act2Answer, een lichtgewicht protocol dat VTM-kennisbenchmarks aanpast aan VTA-evaluatie door agenten te vereisen te antwoorden via actie. Elke vraag wordt een korte tafelepisode waarin de agent een enkele objectplaatsingsactie uitvoert om te kiezen tussen kandidaatantwoorden, wat een actie-gebaseerde succesratio oplevert met minder controleverstoringen. We stellen een testsuite samen van dergelijke omgevingen over diverse categorieën van algemene en wereldkennis en introduceren laagsgewijze intentieprobbing om antwoordrelevante informatie te lokaliseren over de VTM-backbone en het actiehoofd. In een grootschalige studie van 7 VTA-modellen en 9 VTM-baselines rangschikken we systematisch modellen over categorieën en vinden we dat VTA's solide prestaties vertonen op eenvoudige concepten, terwijl ze grotere hiaten vertonen op rijkere semantische categorieën ten opzichte van hun bron-VTM's, dat VQA-co-training geassocieerd is met betere kennisretentie, en dat antwoordrelevante signalen pieken in middelste VTA-lagen maar verzwakken in bovenste lagen. Act2Answer is beschikbaar op https://tttonyalpha.github.io/act2answer/.

Een 3D-scène wordt begrepen via zijn objecten, niet via de primitieven waaruit ze zijn opgebouwd. Toch genereren feed-forward-reconstructiemethoden dichte, ongestructureerde verzamelingen punten of Gaussianen, waardoor de objectniveaustructuur achteraf moet worden hersteld. Wij stellen een feed-forward-raamwerk voor dat een scène rechtstreeks vanuit ongeposeerde multi-view-beelden ontleedt in instantie-gestructureerde 3D-tokengroepen — compacte objectgecentreerde eenheden waaruit reconstructie, segmentatie en manipulatie allemaal volgen. Elke tokengroep koppelt een instantie-token dat de identiteit op entiteitsniveau vastlegt aan ankertokens die de lokale geometrie en het uiterlijk coderen, en die worden gedecodeerd tot een reeks 3D-Gaussianen. Deze tweeledige factorisatie ontkoppelt objectidentiteit van lokaal uiterlijk, waardoor objectinstanties een native interface van de representatie worden in plaats van een afgeleid product. De tokengroepen worden geleerd via differentieerbare rendering met gezamenlijke reconstructie- en segmentatiesupervisie, zonder dat er 3D-annotaties nodig zijn. Ons feed-forward-model overtreft per-scène-optimalisatiebaselines in klasse-agnostische instantiesegmentatie, terwijl het concurrerend blijft in nieuw-gezichtssynthese. Naast deze metrieken maken dezelfde tokengroepen direct instantieniveau-scènebewerking mogelijk — verwijderen, verplaatsen of invoegen van objecten door op hun groepen te manipuleren — evenals efficiënt open-vocabulary 3D-instantie-opvragen, waarbij de opvraagcomplexiteit schaalt met het aantal instanties in plaats van primitieven.

Visuele generatieve modellen worden doorgaans in twee fasen getraind. Eerst wordt een tokenizer getraind voor reconstructie en vervolgens bevroren, waarna een generator wordt getraind op zijn discrete indices of continue latenten. Deze ontkoppeling zorgt ervoor dat de tokenizer niet weet wat de generator gemakkelijk kan modelleren. We presenteren GEAR (Guided End-to-end AutoRegression), die een vector-gekwantiseerde (VQ) tokenizer en een autoregressieve (AR) generator gezamenlijk en end-to-end traint, geleid door representatie-afstemming. Het belangrijkste obstakel is dat de VQ-index die aan het AR-model wordt gevoerd niet-differentieerbaar is, waardoor gradiënten de tokenizer niet kunnen bereiken en een straight-through estimator instort. GEAR lost dit op met een dubbele uitlezing van de codeboektoewijzing. Een harde, one-hot tak traint de AR met next-token predictie, terwijl een differentieerbare zachte tak een representatie-afstemmingsverlies draagt dat terugvloeit om alleen de tokenizer te sturen. Het AR-model stuurt daarmee zijn tokenizer richting een indexverdeling die het gemakkelijker kan voorspellen. Dit verschuift de afstemmingslast van de tokenizer naar de AR: de eigen kenmerken van de tokenizer worden minder DINOv2-achtig, terwijl die van de AR meer DINOv2-achtig worden, het tegenovergestelde van diffusiezijdige recepten die de latent zelf semantisch maken. GEAR versnelt de ImageNet gFID-convergentie met tot 10x ten opzichte van de sterke LlamaGen-REPA-baseline, leert aanzienlijk betere patch-niveau en ruimtelijk coherente kenmerken, en generaliseert over kwantisatoren (VQVAE, LFQ, IBQ) en naar tekst-naar-beeld generatie.

Zou ervaring met het ontwerpen van snellere GPU-kernels ook kunnen helpen bij het naderen van een al lang bestaand open wiskundig vermoeden? Grote Taalmodellen (LLMs) geïntegreerd in evolutionair zoeken hebben recentelijk state-of-the-art oplossingen opgeleverd voor optimalisatietaken, waaronder open wiskundige vermoedens, GPU-kernelontwerp, ontdekking van natuurwetten en combinatorische puzzels. Om dit te bereiken, paste eerder werk zoeksteigers toe op één doeltaak tegelijk, zodat elk nieuw probleem vanuit het niets wordt benaderd en de tijdens het zoeken opgebouwde ervaring wordt weggegooid zodra het model zijn poging beëindigt. Dit laat het vermogen om iteratief een oplossing te ontwikkelen (bijv. weten welk deel te muteren en hoe, beslissen wanneer terug te keren) volledig in de steiger in plaats van in het model zelf. Of het model zelf dit vermogen zou kunnen verwerven en hergebruiken over verschillende taken, is grotendeels ononderzocht. Om dit aan te pakken, introduceren we Evolution Fine-Tuning (EFT), een mid-training paradigma dat LLMs leert om oplossingen over taken heen te ontwikkelen door evolutionaire zoektrajecten om te zetten in supervisie. We construeren Finch Collection, een dataset van 156K trajecten die 10 domeinen en 371 optimalisatietaken bestrijkt, en finetunen open-source LLMs van 2B tot 9B parameters. Empirisch gezien verleent EFT cross-task generalisatie: over 22 niet-geziene taken heen overtreffen onze modellen hun basismodellen gemiddeld met 10,22%. Bovendien, in combinatie met test-time RL, evenaart ons model de state-of-the-art prestaties op twee cirkelpakkingstaken en overtreft het zijn basismodel-tegenhanger op het Erdős minimale-overlap probleem. EFT dient dus als een 'oefenfase' voor algemene ontdekkingsagenten die nieuwe problemen niet vanuit het niets oplossen.

Blokdiffusie-taalmodellen (BD-TM's) verbeteren diffusie-gebaseerde tekstgeneratie met behulp van KV-caching en flexibele lengtegeneratie. Een logische volgende stap is om ze uit te breiden van Enkelblokdiffusie (EnkelBD) naar Meervoudigeblokdiffusie (MeervoudBD), waarbij een lopende set opeenvolgende blokken gelijktijdig wordt gedecodeerd voor inter-blok parallellisme. Echter, bestaande BD-TM's worden meestal getraind onder teacher forcing, waarbij het model slechts één ruisblok waarneemt, geconditioneerd op een schoon prefix. Hoewel de recente diffusieforcing-strategie zichtbaarheid tussen meerdere ruisblokken introduceert, verschillen de trainingstoestanden nog steeds van MeervoudBD-inferentie, waarbij decodering werkt op een begrensde lopende set met heterogene slot-gewijze ruispatronen. Om deze kloof te overbruggen, stellen we Meervoudigeblokdiffusie-taalmodellen (MBD-TM's) voor, verkregen door BD-TM's na te trainen met Meervoudigeblok Teacher Forcing (MeervoudTF). MeervoudTF integreert teacher forcing en diffusieforcing door te trainen op begrensde ruisgroepen, geconditioneerd op schone prefixes, met gerandomiseerde ruisschema's die beter overeenkomen met MeervoudBD-inferentietoestanden. Om MeervoudBD praktisch uitvoerbaar te maken, introduceren we verder een geoptimaliseerd decoderingsalgoritme gebaseerd op het Blokbuffer-mechanisme dat prefix-cache-hergebruik behoudt, invoervormen statisch houdt en toegenomen decoderingsparallellisme vertaalt naar versnelling in wandkloktijd. Empirisch gezien verhoogt MBD-LLaDA2-Mini het gemiddelde aantal tokens per voorwaartse doorgang (TPF) van 3,47 naar 6,19 en verbetert de gemiddelde nauwkeurigheid van 79,95% naar 81,03%; in combinatie met DMax bereikt MBD-LLaDA2-Mini-DMax een gemiddelde TPF van 9,34 met slechts een daling van 1,02% in nauwkeurigheid op wiskunde- en codebenchmarks.

Agentvaardigheden breiden taalmodelagenten uit met taakspecifieke procedures, scripts en referenties, maar de taken en omgevingen waarop ze zich richten veranderen voortdurend. Bestaande methoden verbeteren vaardigheden in begrensde runs en bewaren alleen het uiteindelijke artefact, waarbij ze de beslissingsgeschiedenis weggooien die latere agenten nodig hebben om eerdere herzieningen, evaluaties en afgewezen alternatieven te interpreteren. Wij introduceren SkillHone, een harnas voor voortdurende evolutie van agentvaardigheden, gebaseerd op een persistente beslissingsgeschiedenis. SkillHone koppelt vaardigheidsherzieningen aan evaluatiezijde bewijs dat praktijkfeedback levert, en legt gestructureerde geschiedenissen vast van diagnoses, herzieningen, bewijs en uitkomsten. Rolgescheiden subagenten laten kandidaatvaardigheden draaien op praktijktests met geredigeerde rapportage en stellen herzieningen voor op basis van eerdere beslissingen, waardoor verfijning over sessies heen mogelijk wordt zonder het herontdekken van eerdere redeneringen. Op diepgaande onderzoeksbenchmarks draait SkillHone zonder een vooraf geïntegreerde zoekstack en presteert het 15,8 punten beter dan de commercieel ondersteunde diepgaande onderzoeksagent op GAIA en 3,2 punten op WebWalkerQA-EN, terwijl het ook eerdere vaardigheidsevolutiemethoden overtreft. Verder zetten wij SkillHone in op interne tool-gemedieerde analysescenario's, waar het de nauwkeurigheid met gemiddeld 18,8 punten verbetert over zeven instellingen.

Videowereldmodellen zijn interactieve videogeneratiemodellen die toekomstige wereldtoestanden voorspellen op basis van gebruikersacties en historische videoframes. Een cruciale uitdaging in videowereldmodellen is het gebrek aan geheugen, wat leidt tot inconsistente gegenereerde scènes over langere tijdsperioden. Eerdere methoden onderzochten op regels gebaseerde contextframe-retrieval als geheugen, maar slagen er niet in te generaliseren in scenario's met scèneocclusies en dynamische objecten. Wij stellen MemLearner voor, een op leren gebaseerde adaptieve contextquerymethode die querytokens gebruikt om context- en voorspelde tokens met elkaar te verbinden. Door het videogeneratiemodel zelf te benutten voor het opvragen van context, maakt MemLearner gebruik van voorgetrainde visuele priori's zonder extra modules vanaf nul te trainen, en bevat het efficiënte strategieën voor training en inferentie. We hebben een dataset verzameld van lange video's met scèneocclusies en dynamische objecten, voorzien van camerapositieannotaties, en stellen een multi-dataset trainingsstrategie voor die zowel geannoteerde gerenderde als niet-geannoteerde real-world video's benut. Uitgebreide experimenten tonen aan dat MemLearner significant beter presteert dan eerdere videowereldmodellen op het gebied van scèneconsistentie en geheugen, met name in uitdagende occlusie- en dynamische scenario's.

De generatie van tekstrijke afbeeldingen is een van de meest uitdagende taken in beeldgeneratie, omdat modellen tegelijkertijd visueel realistische afbeeldingen moeten produceren en leesbare, semantisch afgestemde en lay-out-consistente tekst moeten weergeven. Bestaande datapijplijnen volgen doorgaans een statisch crawl-filter-freeze-paradigma. Ze verzamelen kandidaatmonsters, filteren deze eenmalig en bevriezen de geaccepteerde data voor training. Afgewezen monsters worden echter meestal weggegooid, hoewel ze vaak bruikbare faalsignalen bevatten, zoals OCR-fouten en semantische mismatches. Als gevolg hiervan kunnen latere constructieronden dezelfde faalmodi herhalen. Om deze beperkingen aan te pakken stellen we DataEvolver voor, een zelf-evoluerend multi-agent-kader voor de constructie van tekstrijke beelddata. DataEvolver beschouwt dataconstructie als feedback-gestuurde evolutie van het constructiebeleid. Een Retriever verzamelt kandidaatmonsters, een Verifier kent kwaliteitsscores en afwijzingsredenen toe, een Critic vat feedback op rondniveau samen tot semantische feedback, en een Generator vult onderbedekte gebieden aan door middel van gerichte synthese. Het bijgewerkte feedbackgeheugen stuurt vervolgens de volgende constructieronde. Experimenten op benchmarks voor tekstrijke beeldgeneratie tonen aan dat DataEvolver, onder gelijke databudgetten, nuttigere trainingsdata produceert dan vaste-dataset-baselines. Op de schaal van 0,75M voor PixArt-alpha verbetert DataEvolver de OCR-F1 met 85,3 procent op TextScenesHQ en met 35,3 procent op LongTextBench ten opzichte van de sterkste baseline. De verbeteringen zijn consistent over beide geëvalueerde benchmarks en zijn ook overdraagbaar naar Show-o2, wat aangeeft dat het voordeel van DataEvolver niet gebonden is aan één enkele stroomafwaartse generator. Deze resultaten suggereren dat afgewezen monsters bruikbare feedback kunnen leveren voor het verbeteren van de constructie van tekstrijke beelddata.

Metacognitie is een cruciaal onderdeel van intelligentie dat het vermogen beschrijft om de eigen cognitieve processen te monitoren en reguleren. Toch vertonen LLM's systematische tekortkomingen in belangrijke metacognitieve vermogens: ze hallucineren met hoog vertrouwen, slagen er niet in om kennisgrenzen te herkennen en geven een verkeerde voorstelling van hun interne onzekerheid—wat de betrouwbaarheid en geloofwaardigheid ondermijnt. Aangezien het monitoren van taakprestaties en het dienovereenkomstig aanpassen van gedrag centraal staan in metacognitie, stellen wij dat modellen die in staat zijn hun eigen prestaties nauwkeurig te beoordelen, beter gepositioneerd zijn om deze te verbeteren. We operationaliseren dit idee via twee nieuwe mechanismen: reinforcement learning met metacognitieve feedback (RLMF), een paradigma om voltooiingsrangschikkingen te verfijnen tijdens preferentieoptimalisatie op basis van de kwaliteit van de zelfbeoordelingen van een model van prestaties, en metacognitieve gegevensselectie, die vergelijkbare zelfbeoordelingen gebruikt om hoogwaardige trainingsvoorbeelden te identificeren, beter presterend dan naïeve actieve leerprocessen. We passen deze innovaties toe op het probleem van getrouwe calibratie (FC), een taak die zelf fundamenteel metacognitief is: het doel is om uitgedrukte onzekerheid af te stemmen op intrinsieke onzekerheid, wat zelfs voor geavanceerde LLM's moeilijk is. We hanteren een tweefasige, ontkoppelde aanpak: eerst gebruiken we deze methoden om de getrouwheid van de zelfgerapporteerde vertrouwensscores van modellen te calibreren, en vervolgens maken we via gerichte uitgavedbewerking de overstap naar natuurlijke, context-aanpasbare linguïstische onzekerheid. Uitgebreide experimenten tonen aan dat RLMF generaliseerbare, state-of-the-art FC bereikt op diverse taken, met behoud van nauwkeurigheid. Bovendien overtreft RLMF standaard RL met maar liefst 63%, terwijl het het vermogen van modellen om hun eigen capaciteitsgrenzen te beoordelen en uit te drukken verbetert. Dit positioneert RLMF als een veelbelovend paradigma om de metacognitie van LLM's te verbeteren richting verbeterde vaardigheden en afstemming, en suggereert metacognitieve prestaties als een effectief RL-signaal om de beperkingen van eerdere intrinsieke feedbackmethoden te overwinnen.

Procedureel geheugen wordt steeds vaker gebruikt om LLM-agenten te verbeteren bij terugkerende werktaken, maar het vermogen om herbruikbare vaardigheden te produceren blijft slecht begrepen. Wij introduceren AFTER, een benchmark van 382 realistische enterprisetaken verspreid over zes professionele rollen en 22 procedurele vaardigheden, ontworpen om te evalueren hoe vaardigheden overdragen over taken, rollen en modelbackbones. De benchmark omvat gecontroleerde evaluatieomgevingen voor lokale verbetering, kruistaakoverdracht, kruisroloverdracht en kruismodelgeneralisatie. Experimenten tonen aan dat procedureel geheugen consistente winst oplevert in industriële workflows: een enkele verfijningsronde verbetert de algemene prestatie met 3,7–6,7 punten, terwijl vaardigheden die zijn ontwikkeld uit diverse multi-model uitvoeringssporen een kruismodel testnauwkeurigheid van 73,1% behalen, waarmee ze alle enkelmodel spoorbronnen overtreffen. Verder vinden we dat sommige vaardigheden breed generaliseren over taken en modellen, terwijl andere gespecialiseerd raken in rolspecifieke workflows en effectiviteit verliezen bij overdracht. Deze resultaten bieden praktische richtlijnen voor het bouwen, evalueren en implementeren van procedurele geheugensystemen in productie-agentplatforms.

Diversiteit in wiskundige redenering van LLM’s is van cruciaal belang voor exploratie, maar gangbare diversiteitsstatistieken vangen meestal alleen variatie op het oppervlakteniveau in plaats van verschillen in hoe een probleem wordt opgelost. Wij vullen deze leemte door diversiteit op aanpakniveau te introduceren: variatie in strategieën tussen correcte oplossingen voor hetzelfde probleem. Gebruikmakend van een door mensen gekalibreerd LLM-beoordelingskader tonen we aan dat eerdere diversiteitsmetingen onbetrouwbare proxies zijn voor diversiteit op aanpakniveau, en dat deze discrepantie doorwerkt in diversiteitsbewuste RLVR, waar doelstatistieken behouden blijven terwijl de diversiteit op aanpakniveau afneemt. Door te onderzoeken wanneer diversiteit op aanpakniveau helpt en of deze direct kan worden geïnduceerd, vinden we dat aanpak-diverse kandidaatsets de schaling tijdens het testen verbeteren. Het optimaliseren van een LLM-beoordelaarsdiversiteitsbeloning tijdens de training zorgt er echter voor dat het beleid beoordelaarspecifieke voorkeuren uitbuit in plaats van zijn aanpakken te verbreden, waardoor directe optimalisatie van diversiteit op aanpakniveau een open probleem blijft. Samen introduceert ons werk het concept van diversiteit op aanpakniveau en onthult het een systematische divergentie tussen signalen op oppervlakte- en aanpakniveau, wat een stap markeert naar LLM’s die op een werkelijk diverse, menselijke manier redeneren.

Fotomozaïeken zijn grote afbeeldingen waarvan de lokale regio's worden gezien als onafhankelijke tegels, terwijl hun algehele rangschikking een coherente scène vormt. Het genereren ervan op hoge resolutie, waarbij elke tegel op zichzelf overtuigend is, is rekenintensief, omdat het canvas veel gedetailleerde tegels tegelijk moet bevatten. We presenteren PhotoQuilt, een trainingsvrij raamwerk dat fotomozaïeken genereert op willekeurige resolutie. Diffusiemodellen hebben moeite om aan beide schalen tegelijk te voldoen, omdat directe generatie op hoge resolutie kostbaar is en neigt naar één glad beeld in plaats van een mozaïek, terwijl patchgebaseerde betegeling lokale details behoudt maar de globale structuur verliest. PhotoQuilt lost dit op met een bootstrap-procedure voor betegelde denoising. We produceren eerst een globale compositie op lage resolutie om de lay-out vast te leggen, schalen deze vervolgens op in latente ruimte en injecteren opnieuw ruis om de generatieve capaciteit te herstellen. Denoising vindt plaats binnen vaste tegels, zodat elke tegel zijn eigen beeld vormt terwijl de gedeelde globale structuur ze in één lay-out houdt. Omdat tegelgeneratie afzonderlijk wordt afgehandeld, schaalt PhotoQuilt naar grote canvassen zonder kwadratische aandachtskosten. Experimenten tonen aan dat PhotoQuilt de huidige basislijnen overtreft op zowel globale structuur als lokaal realisme.

Spraakmodellen worden steeds vaker ingezet in praktijktoepassingen in meerdere talen. Toch blijft hun veiligheid en rechtvaardigheid buiten Engelstalige contexten en onder naturalistische omstandigheden onderbelicht. We onderzoeken de veiligheidsrapportagepraktijken bij de release van state-of-the-art spraakmodellen en constateren dat slechts 8% enige meertalige analyse documenteert. Om deze lacune aan te pakken, introduceren we RedVox, een meertalige veiligheids- en rechtvaardigheidsbenchmark voor audio en spraak, gebaseerd op echte stemmen, die onveilige en onrechtvaardige stereotiepe verzoeken dekt in vijf talen (Engels, Frans, Italiaans, Spaans en Duits). Bij de evaluatie van acht state-of-the-art modellen stellen we vast dat kwetsbaarheden blijven bestaan, zelfs onder niet-adversariële omstandigheden, verergeren in niet-Engelse talen en worden versterkt wanneer het verzoek afkomstig is van een gesproken invoer. Tot slot documenteren we, door middel van een enquête onder de deelnemers die aan RedVox hebben bijgedragen, de unieke persoonlijke en privacy-uitdagingen van het verzamelen van spraakgegevens met menselijke deelnemers, wat wijst op bredere sociaaltechnische uitdagingen in naturalistisch spraakveiligheidsonderzoek.

Naarmate videocorpora blijven groeien in zowel omvang als taakcomplexiteit, neemt de vraag toe naar benaderingen die relevante video's uit grootschalige corpora kunnen terugvinden (inter-video redeneren) en vervolgens fijnmazige, query-afhankelijke taken (intra-video redeneren) kunnen uitvoeren binnen de teruggevonden inhoud, zoals temporele verankering. Bestaande benaderingen behandelen retrieval echter doorgaans als een voorbewerkingsstap, waardoor er, wanneer de initiële retrieval mislukt, geen mechanisme is om de zoekopdracht te verfijnen, wat leidt tot het falen van het daaropvolgende fijnmazige intra-video redeneren. Bovendien, hoewel recente agentische raamwerken het video begrip hebben verbeterd, veronderstellen ze doorgaans dat de query-relevante video al gegeven is en richten ze zich uitsluitend op intra-video redeneertaken. Om deze beperkingen aan te pakken, stellen we VideoSearch-R1 voor, een agentisch raamwerk voor iteratieve video retrieval en redeneren via meerstaps interactie met een video zoekmachine. Specifiek introduceren we Soft Query Refinement (SQR) om zoekquerytokens te verfijnen in een continue latente ruimte in plaats van queries te herschrijven in de discrete tekstruimte, wat efficiëntere en fijnmazigere aanpassingen mogelijk maakt. SQR en het bijbehorende redeneerproces worden getraind met Group Relative Policy Optimization (GRPO), gestuurd door taakniveau beloningssignalen afkomstig van retrieval en downstream taken. Hierop voortbouwend behaalt VideoSearch-R1 state-of-the-art prestaties op drie datasets voor Video Corpus Moment Retrieval (VCMR), waarbij het iteratief video's uit grootschalige corpora terugvindt, zoekqueries verfijnt en precieze query-afhankelijke temporele verankering uitvoert binnen de teruggevonden inhoud. Onze analyses tonen aan dat SQR de oorspronkelijke query effectief verfijnt en daarbij aanzienlijk minder gegenereerde tokens vereist dan expliciete tekstuele queryverfijning. Code en modelcheckpoints zijn openbaar beschikbaar op mlvlab.github.io/VideoSearch-R1.

Grafische gebruikersinterface (GUI)-agenten bouwen voort op visie-taalmodelen om eindgebruikerstaken end-to-end te voltooien in echte toepassingen via interfaceacties zoals tikken, vegen, tekstinvoer en navigatie. Bestaande GUI-agenten worden echter grotendeels getraind en geëvalueerd op offlinetrajecten, gesimuleerde omgevingen en gestandaardiseerde benchmarks. Deze verschillen aanzienlijk van echte toepassingen wat betreft interfacelayout, interactielogica en de verdeling van abnormale toestanden, en kunnen de uitvoeringsstabiliteit in realistisch gebruik niet getrouw karakteriseren, waarbij accountstatussen, machtigingsdialogen, betalingsauthenticatie en risicobeheer voortdurend de toestandsverdeling hervormen en een aanhoudende kloof openen tussen benchmarkscores en echte bruikbaarheid. Om deze kloof te dichten, stellen wij Xiaomi-GUI-0 voor, een native multimodale GUI-agent voor echte mobiele omgevingen, getraind en geëvalueerd binnen een gesloten lus met echte apparaten. De kern is een echte-apparaat-dominante hybride infrastructuur, waarbij fysieke apparaten de primaire uitvoeringsomgeving zijn en sandboxen ondersteunende hulp bieden, zodat gegevensverzameling, training, rollout en evaluatie een uitvoeringsverdeling delen die dicht bij de daadwerkelijke implementatie ligt. We construeren multi-source trainingsgegevens die hoogfrequente hoofdtaken, hoog-generaliserende gegevens voor long-tail-intenties en capaciteitsverbeteringsgegevens voor reflectie en geheugen omvatten, en introduceren een foutgestuurd gegevensvliegwiel dat faaltrajecten omzet in gecorrigeerde acties, reflectieve uitleg en hersteldemonstraties. Het model wordt getraind via een progressieve driefasige pijplijn van gesuperviseerde finetuning, stapsgewijs bekrachtigingsleren en agentisch bekrachtigingsleren. Geëvalueerd op openbare benchmarks en ons eigen RealMobile, behaalt Xiaomi-GUI-0 72,0% succes op RealMobile en 78,9% op AndroidWorld, terwijl de uitvoeringsstabiliteit en herkenning van abnormale toestanden in realistische taken aanzienlijk verbeteren.

Meervingerige robots beloven de snelheid en behendigheid van menselijke handen, maar uitdagende problemen zoals precisiemontage blijven buiten bereik. Deze taken zijn contactrijk, waardoor gegevensverzameling voor imitatieleren moeilijk is, en hebben een schaarse beloning, waardoor directe exploratie met reinforcement learning (RL) onhaalbaar is. Daarom heeft eerder werk vooruitgang geboekt door het probleem te structureren met gespecialiseerde grijpers, gereedschapsbevestigingen en omgevingsbevestigingen. In dit werk stellen we dat een robot, voordat hij precisiemontage kan perfectioneren, eerst moet leren spelen. We stellen verder de vraag: welke factoren in het leerproces van spelen zijn van belang voor precisiemontage? We stellen Play2Perfect voor, een RL-framework voor taakonafhankelijke voortraining door middel van spel met diverse objecten en doelen, dat vervolgens wordt geperfectioneerd voor precisiemontage. Het doel van spel is het verwerven van herbruikbare manipulatiepriors, zoals grijpen, heroriënteren in de hand en het bereiken van een pose. Verfijning past deze algemene prior vervolgens aan voor montage, waarbij de exploratie wordt gericht op de laatste contactrijke, zeer nauwkeurige interacties die nodig zijn voor succes. We bestuderen systematisch de belangrijkste ontwerpkeuzes in spelvoortraining, waaronder objectdiversiteit, trainingsdoel, trajectdiversiteit en doelnauwkeurigheid. We laten zien dat onze prior 33x monster-efficiënter is dan RL-training vanaf nul, zelfs wanneer voorzien van dichte, meerfasige beloningen. We demonstreren zero-shot sim-naar-real overdracht, met 60% succes bij nauwe inserties met slechts 0,5 mm contactspeling, en meer dan 50% succes bij lange-horizon montage van meerdere onderdelen en schroeven.

Hoewel grote taalmodellen de laatste tijd het onderzoekslandschap domineren, blijven kleine taalmodellen zeer relevant in verschillende domeinen; toch krijgen ze veel minder aandacht. In deze studie onderzoeken we hoe kleinere taalmodellen presteren tijdens de generatiefase binnen een Retrieval-Augmented Generation (RAG)-systeem. Om deze modellen effectief te benchmarken, hebben we zowel open-source als propriëtaire datasets gebruikt die diverse vakgebieden en vraagtypen bestrijken. Onze bevindingen tonen aan dat een RAG-systeem met kleine taalmodellen direct op het apparaat kan worden uitgevoerd zonder dat er GPU-hardware nodig is, binnen een redelijke tijd. De experimentele code en links naar het aanvullend materiaal zijn toegankelijk via de GitHub-repository: https://github.com/SibNN/SLM-RAG-EVAL.

LLM-agenten handelen steeds vaker over lange tijdshorizons, waarbij één traject honderden of duizenden acties kan bevatten. In deze omgevingen bieden alleen uitkomstbeloningen te schaarse begeleiding: ze informeren het model niet over de kwaliteit van tussenliggende acties. Methoden voor dichte supervisie proberen dit probleem op te lossen door tussenstappen te scoren, variërend van intrinsiek vertrouwen tot zelfdistillatie en inbeddingsovereenkomsten. Het is echter gebruikelijke praktijk om deze methoden te evalueren door de stroomafwaartse prestaties te meten van een trainingspijplijn die ze integreert. Dit is duur, vermengt supervisiekwaliteit met technische verstorende factoren in de training en maakt verschillende methodologische families, die verschillende trainingsopstellingen vereisen, onderling onvergelijkbaar. Hierdoor worden methoden voor dichte supervisie zelden op een gemeenschappelijke basis gebenchmarkt. Wij introduceren QVal, een trainingsvrije testomgeving voor directe evaluatie van dichte supervisiesignalen. Voor een gegeven toestand-actiepaar meet QVal hoe goed de score van een methode Q-uitgelijnd is: of zij acties ordent volgens de Q-waarden van een sterk referentiebeleid. Dit stelt ons in staat signalen te vergelijken vóór enige trainingsrun en signaalkwaliteit te scheiden van andere technische keuzes. We instantieëren QVal als QVal-v1.0, en benchmarken 21 methoden voor dichte supervisie in vier uiteenlopende omgevingen en zeven methodologische families, met meer dan 1,2K evaluatie-experimenten over zes open-weight modelbackbones. We vinden dat eenvoudige prompt-baselines consequent beter presteren dan recente methoden voor dichte supervisie uit de literatuur, en dat prestaties sterk clusteren per familie. Deze bevindingen gelden ongeacht modelgrootte, omgeving en observatiemodaliteit. QVal is ontworpen om gemakkelijk uitbreidbaar te zijn naar nieuwe omgevingen en methoden, waardoor onderzoekers methoden voor dichte supervisie kunnen itereren vóór enige trainingsrun.

Autoregressieve Transformators domineren hoogwaardige meshgeneratie door kunstenaarwaardige topologieën te produceren, maar hun inherente sequentiële decodering brengt aanzienlijke computationele overhead met zich mee, wat ordes van grootte langzamer is dan parallelle generatieve modellen. Anderzijds, hoewel continue diffusie- en stroom-matchingmethoden efficiënte parallelle synthese ondersteunen in een verscheidenheid aan domeinen, kunnen ze niet direct worden toegepast op meshes: mesh-connectiviteit is inherent discreet en onverenigbaar met standaard continue ruisinjectie- en ontruisingsoperaties. Om deze fundamentele onverenigbaarheid op te lossen, introduceren we een compacte topologie-inbedder die discrete mesh-vertexposities en normalen projecteert in continue per-vertex-inbeddingen, waar de oorspronkelijke discrete aangrenzendheidsinformatie getrouw kan worden teruggewonnen via afstandsdrempel in ruimtetijd. Na het vooraf trainen en bevriezen van deze inbedder, kan elke ruwe mesh volledig worden omgezet in een continue per-vertex-toestandsruimte die positie, normaal en impliciete topologische attributen verenigt. Gebouwd op deze nieuwe continue meshrepresentatie presenteren we PolyFlow, een op Transformator gebaseerd stroom-matchingraamwerk dat volledig parallelle vertex-toestandsontruising bereikt, geconditioneerd op geëxtraheerde puntenwolkkenmerken. Tijdens inferentie voltooit ons model de generatie snel via een ODE-oplosser en ondersteunt het expliciete, precieze controle over de uitvoermeshresolutie door direct het doelvertexaantal te specificeren. Uitgebreide evaluaties op de Toys4K-benchmark tonen aan dat PolyFlow de state-of-the-art autoregressieve basislijnen overtreft in zowel Chamfer-afstand als Hausdorff-afstand.

De materiaalwetenschappelijke literatuur codeert decennia aan experimentele kennis in figuren, maar deze visuele schat blijft opgesloten en ontoegankelijk voor AI op grote schaal. De kernmoeilijkheid is structureel: de meeste wetenschappelijke figuren zijn samengesteld, waarbij één bijschrift meerdere subpanelen tegelijk beschrijft, wat directe koppeling van beeld en tekst onbetrouwbaar maakt. Wij presenteren MatMMExtract, een end-to-end open-source-pijplijn die dit oplost door samengestelde figuren te ontleden in individuele subpanelen en gestructureerde, gefundeerde annotaties te genereren met behulp van een groot taalmodel, geleid door een samengestelde materiaalwetenschappelijke taxonomie. Toegepast op 14.810 open-access artikelen produceert MatMMExtract MatSciFig: 391.606 paneelniveau-beeld-tekstparen uit 180.571 figuren, elk geannoteerd met een subbijschrift, een tweeledige visualisatiecategorie die 19 klassen en meer dan 100 subtypen omvat, en een wetenschappelijke samenvatting. Om nauwkeurige panellokalisatie mogelijk te maken, introduceren we MaterialScope, een domeinspecifieke detectiedataset met 2.811 handmatig geannoteerde materiaalwetenschappelijke figuren, waarop een fijngetunede YOLO12-m-detector een mAP_50 van 0,9227 behaalt. Van de zes geteste taalmodellen levert Gemini 3.1 Flash Lite de beste kosten-kwaliteitverhouding voor annotatiegeneratie, waarbij 82% van de uitvoer als goed wordt beoordeeld en het hallucinatiepercentage 4,8% bedraagt. Een dual-encoder-retrieval-baseline op MatSciFig behaalt een 4,4-voudige verbetering in R@1 ten opzichte van zero-shot CLIP, wat de directe bruikbaarheid van de dataset voor visie-taalleren aantoont. Alle bronnen worden openlijk ter beschikking gesteld aan de gemeenschap.

Agentische reinforcement learning vereist dat crediet wordt toegewezen aan omgevingsgerichte acties zoals zoekopdrachten, klikken, bewerkingen, navigatiecommando's en objectinteracties. Standaard GRPO gebruikt de uiteindelijke uitkomst van de verificateur als een uniform voordeel over alle actietokens. Dit uitkomstsignaal is nuttig maar structureel onvolledig: het bestraft nuttige exploratie in mislukte rollouts en versterkt overbodige of regressieve acties in succesvolle rollouts. Wij stellen TRIAGE voor, een rolgetypeerd credittoewijzingsraamwerk dat een semantische rollenas toevoegt aan uitkomstcrediet. Een gestructureerde beoordelaar classificeert elk segment als beslissende vooruitgang, nuttige exploratie, geen-vooruitgang infrastructuur of regressie, en een vaste rolgeconditioneerde regel kent deze labels toe aan begrensde segmentniveau procesbeloningen. Dit behoudt verificateursuitkomsten als de bron van optimalisatierichting, terwijl het de twee belangrijkste blinde vlekken van uitsluitend uitkomstcrediet corrigeert. Verder tonen wij aan dat rolgeconditioneerd crediet de optimale segmentniveau correctie is die uitdrukbaar is vanuit uitsluitend roletiketten – een projectie van het per-segment voordeelresidu op de rolvariabele – zodat de vaste rolconstanten de voordeelschatingsfout verminderen zodra de beoordelaar betrouwbaar is, en wij verbinden dit met beleidsgradiënten met lagere variantie. In ALFWorld, Search-QA en WebShop verbetert TRIAGE de succespercentages ten opzichte van GRPO voor twee beleidsmodellen en overtreft het zowel een scalaire door beoordelaar afgeleide procesbeloning als een uitkomstgesuperviseerde gedeelde backbone-waardebaseline. Ablatiestudies tonen aan dat de winst voortkomt uit roltypering in plaats van louter het toevoegen van dichte beloningen: betrouwbare detectie van regressie in succesvolle trajecten is de dominante bijdrager, terwijl exploratiecrediet een consistente secundaire winst oplevert; in voltooide ALFWorld- en WebShop-rollouts vermindert TRIAGE bovendien het aantal omgevingsgerichte beurten met respectievelijk 10,4% en 14,8% ten opzichte van GRPO.

Het modelleren van de bidirectionele correspondentie tussen externe sensorische stimuli en interne neurale activiteit is naar voren gekomen als een cruciaal grensgebied in de neurowetenschappen. Bestaande benaderingen behandelen hersenencodering en -decodering echter overwegend als geïsoleerde taken, sterk leunend op unimodale afstemming en externe prior, terwijl ze voorbijgaan aan de intrinsieke aard van het brein als een multimodaal integratiesysteem. Om deze beperkingen aan te pakken, stellen wij BrainJanus voor, het eerste geünificeerde breinmodel dat brein, visie en taal integreert binnen één enkel raamwerk. In het bijzonder introduceren we een Unified Brain Tokenizer om continue neurale dynamiek te kwantiseren in discrete tokens die zijn afgestemd op visuele en linguïstische representaties in een gedeelde Omni-ruimte. Hierop voortbouwend gebruiken we een All-in-One autoregressieve architectuur die gebruikmaakt van next-token predictie om naadloze any-to-any generatie mogelijk te maken, die beeld-naar-brein en tekst-naar-brein encodering, en brein-naar-beeld en brein-naar-tekst decodering omvat. Uitgebreide experimenten tonen aan dat BrainJanus superieure prestaties behaalt op diverse benchmarks. Bovendien vertoont ons raamwerk zero-shot generalisatie en behoudt het interpreteerbare biologische topografie, wat het potentieel ervan als een general-purpose hersenmodelleringsparadigma benadrukt. De code is beschikbaar op https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Moderne grote taalmodellen (LLM's) vertrouwen op versterkend leren tijdens natraining om specifieke vaardigheden te verbeteren, maar het integreren van meerdere vaardigheden in één model blijft moeilijk. Bestaande methoden, zoals Off-Policy Finetune en Mix-RL, zijn ofwel inefficiënt of verliezen prestaties. In dit werk stellen we Multi-teacher On-Policy Distillation (MOPD) voor, een natrainingsparadigma voor het combineren van de vaardigheden van meerdere domein-RL-leraren: we voeren eerst per domein gespecialiseerd versterkend leren uit om een reeks domeinleraren te verkrijgen, en destilleren deze leraren vervolgens in de student op basis van zijn eigen rollouts. Dit elimineert blootstellingsbias en biedt een dicht optimalisatiesignaal. Op Qwen3-30B-A3B presteert MOPD beter dan Mix-RL, Cascade RL, Off-Policy Finetune en Param-Merge-baselines, en erft bijna alle vaardigheden van elke leraar. MOPD maakt ook parallelle, onafhankelijke ontwikkeling van domeinleraren mogelijk, waardoor de kruisdomeinkoppeling die typisch is voor multi-domein-natraining wordt verwijderd. MOPD is ingezet in de natraining van MiMo-V2-Flash, een frontiermodel op industriële schaal, waarmee de praktische waarde voor capaciteitsintegratie in grensverleggende LLM's wordt aangetoond.

Audio-videogeneratie heeft recentelijk ongekende onderzoeksaandacht gekregen, met als doel hoogwaardige klinkende video-inhoud te synthetiseren met fijnmazige synchronisatie en semantische afstemming tussen de auditieve en visuele componenten. De voorgaande methoden hanteren voornamelijk een dubbele takontwerp met afzonderlijke tokenisatie- en generatiemodules per modaliteit, waarbij de representatiekloof wordt verwaarloosd en intensieve computationele middelen vereist zijn voor een goede training. Geïnspireerd door recente vooruitgang in eendimensionale visuele tokenisatie presenteren we AVTok, een nieuwe uniforme tokenizer ontworpen voor holistische audio-videogeneratie. AVTok heeft een duale stroom transformatorarchitectuur met gedeelde encoder-decoder en modale-specifieke leerbare queries om een audio-videopaar efficiënt en effectief te coderen in een compacte eendimensionale latente representatie met een uniform codeboek. Om de heterogene informatieonevenwichtigheid aan te pakken die AVTok belemmert om afgestemde audio-visuele informatie te benutten, ontwikkelen we een hiërarchische trainingsstrategie om geleidelijk reconstructiecapaciteiten voor elke modaliteit te realiseren. Uitgebreide experimenten tonen aan dat AVTok uitblinkt in zowel audio-videoreconstructie als wanneer geïntegreerd in downstream-pijplijnen voor audio-naar-video, video-naar-audio en klasseconditionele gezamenlijke audio-videogeneratie. AVTok baant de weg voor de uitdaging van gezamenlijke audio-videotokenisatie en biedt een mogelijke richting voor het bouwen van uniforme grote multimodale modellen voor audio-videogeneratie.

Generatieve modellen hebben opmerkelijke vooruitgang geboekt, maar het toepassen ervan op satellietbeelden blijft een uitdaging. In tegenstelling tot natuurlijke beelden worden satellietscènes gestructureerd door ruimtelijk complexe en semantisch verschillende geometrieën. Eerder werk pakt deze complexiteit aan door natuurlijke beeldkaders aan te passen met behulp van dichte rasters of spaarzame prompts, waarbij een afweging wordt gemaakt tussen annotatiekosten en getrouwheid, terwijl de compatibiliteit met vectorprimitiveven die doorgaans worden gebruikt om geografische informatie weer te geven, wordt verbroken. We introduceren TerraDiT-Ω, een uniform ruimtelijk controlekader dat satellietbeelden direct genereert vanuit elke native geospatiale primitief. Door gezamenlijk gebruik te maken van precieze annotaties (polygonen, polylijnen) en grovere annotaties (bounding boxes, punten), ondersteunt het model controleerbare lay-outs over variërende annotatiebudgetten, wat de toepasbaarheid vergroot voor ontwerptaken zoals stedelijke planning, terwijl het van nature compatibel blijft met end-to-end GeoAI-workflows. Om deze primitieven effectief te benutten tijdens de generatie, stellen we Geometry-Aware Local Attention voor, een conditioneringsmechanisme dat expliciete geometrische aanwijzingen in de aandachtsruimte injecteert. Over alle conditioneringsformaten heen presteert onze aanpak consistent beter dan zowel dichte-controle- als spaarzame-controle-baselines. Bovendien maakt deze flexibiliteit controleerbare synthetische data-augmentatie mogelijk met behulp van een enkel generatief model, wat de downstream-prestaties verbetert op het gebied van landbedekkingssegmentatie, objectdetectie, weggraafextractie en scèneclassificatie. Code, data en gewichten zijn beschikbaar op https://github.com/mvrl/TerraDiT.

Funderingsmodellen hebben visuele en taalverwerking getransformeerd door rijke, herbruikbare representaties te bieden die overdraagbaar zijn naar diverse taken. Bladmuziek, als een visuele codering van muzikale taal, mist een dergelijke sterke domeinspecifieke ruggengraat. Wij introduceren MuSViT (Music Score Vision Transformer): het eerste funderingsvisiemodel voor bladmuziekrepresentatie – een ViT-encoder die vooraf is getraind via gemaskeerde auto-encoders op 9,7 miljoen pagina's uit het IMSLP. Om de complexiteit van realistische partituren aan te kunnen, hanteren wij een tweefasig curriculum: een synthetische opwarming op gezet muziek (typeset scores) gevolgd door grootschalige training op het volledige IMSLP-corpus. Wij evalueren MuSViT op vier downstream-taken – herkenning op volledige pagina en op notenbalkniveau, detectie van muzieksymbolen en classificatie van moeilijkheidsgraad – onder twee scenario's: lineaire probing (bevroren encoder) en fijnafstelling. Bij lineaire probing presteert MuSViT consistent beter dan moderne visie-encoders, wat aantoont dat generieke representaties, ongeacht schaal, systematisch tekortschieten wat betreft de gestructureerde symbolische eigenschappen van muzieknotatie. Bij fijnafstelling verbetert MuSViT over het algemeen de taakspecifieke state-of-the-art-methoden. Een aanvullende analyse van inbeddings-transcriptieconsistentie onthult dat MuSViT symbolische muzikale structuur direct codeert in zijn representatieruimte – in tegenstelling tot andere encoders, waarvan de inbeddingen niet correleren met de inhoud van muzieknotatie. Deze resultaten vestigen MuSViT als een funderingsruggengraat voor het begrijpen van bladmuziek.

Huidige besturingssystemen bieden interfaces die zijn geoptimaliseerd voor menselijke gebruikers, maar niet voor AI-agenten. Mensen profiteren van pixels, pictogrammen, vensters, visuele groepering, muisbewegingen en sneltoetsen; AI-agenten hebben daarentegen compacte semantische toestand, gefundeerde acties en betrouwbare feedback nodig. Als gevolg hiervan worden veel computergebruikende agenten gedwongen om schermafbeeldingen, OCR-uitvoer en visuele uitsneden te interpreteren, wat leidt tot hoge tokenkosten, visuele ambiguïteit, latentie en coördinatenonzekerheid. Dit artikel introduceert LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), een semantische interactielaag tussen AI-agenten en besturingssystemen. LUMOS converteert native toegankelijkheidsmetadata en browser UI-structuren naar machineleesbare semantische blauwdrukken met stabiele identificatoren, rollen, namen, waarden, grenzen en actiemogelijkheden. Het ondersteunt ook live semantische pointerverankering door het UI-element onder of nabij de cursor op te vragen via automatiserings-API's van het besturingssysteem. Een LLM handelt vervolgens via een op toegankelijkheid gebaseerde observeer-handel-lus met behulp van beperkte zichtbare UI-primitieven in plaats van applicatiespecifieke scripts. LUMOS beweert niet visuele agenten te vervangen; het vermindert daarentegen de afhankelijkheid van schermafbeeldingen wanneer besturingssystemen reeds semantische structuur bieden. Deze resultaten suggereren een pad naar AI-native besturingssystemen en machineleesbare interactielagen.

Wij introduceren SWE-Interact, een nieuwe testomgeving voor het evalueren van codeeragenten op meerstaps, interactieve, gebruikergestuurde software-engineeringtaken. Bestaande geavanceerde SWE-benchmarks bieden doorgaans volledige vereisten vooraf en evalueren agenten op autonome implementatie. Daarentegen plaatst SWE-Interact agenten in een realistische ontwikkelaarswerkstroom: een zorgvuldig ontworpen gebruikersimulator begint met vage of onvolledige instructies, onthult geleidelijk vereisten, inspecteert de werkruimte van de agent en biedt gerichte feedback, herzieningen en nieuwe beperkingen totdat het volledige taakdoel is overgedragen. Deze opzet, gebaseerd op grootschalige studies van echte codeeragentinteracties, test of agenten gebruikersintentie kunnen ontdekken, kunnen inspelen op evoluerende vereisten en kunnen voortbouwen op hun eigen eerdere werk. Uit een reeks geavanceerde en open-weight modellen blijkt dat sterke prestaties op enkelstaps SWE-taken niet betrouwbaar overdraagbaar zijn naar meerstaps, gebruikergestuurde werkstromen: de best presterende modellen lossen ongeveer 50% van de enkelstaps basistaken op, maar slechts 25% van de overeenkomstige SWE-Interact-taken. De sterkste modellen in onze evaluatie, waaronder Opus 4.8 en GPT 5.5, starten sterk, zelfs bij vage initiële instructies, volharden totdat alle vereisten door de gebruiker naar voren zijn gebracht, integreren deze beter en schrijven schone code. Ze hebben echter nog steeds te lijden onder overactief coderen, het vergeten van vereisten en technische fouten. Zwakkere modellen starten slecht onder ambiguïteit, geven vroeg op, vergeten of negeren instructies en herwerken hun code vaker. Al met al meet SWE-Interact een orthogonale, realistische capaciteit-as voor de ontwikkeling van geavanceerde modellen: interactieve doelenontdekking en iteratieve verfijning met een gebruiker in de lus.

Open-sourcebibliotheken en -tools worden veelvuldig hergebruikt, maar compatibiliteitsonderhoud is duur. Wanneer beheerders vertrekken, kunnen nuttige repositories stoppen met werken naarmate runtimes en afhankelijkheden evolueren. We bestuderen of LLM-agents oude repositories kunnen aanpassen aan moderne omgevingen, een taak die we compatibiliteitsredding noemen. In tegenstelling tot bugreparatie start compatibiliteitsredding vanuit een repository die in zijn oorspronkelijke omgeving werkte, maar faalt na ecosysteemverschuiving. RepoRescue geeft agents alleen de repository en zijn falende moderne omgeving; de agent moet de fout diagnosticeren, getroffen code lokaliseren en een broncode-redding produceren die de historische testsuite herstelt. We bouwen RepoRescue uit 193 Python- en 122 Java-repositories, elk geverifieerd om historisch te slagen en te falen na modernisering. We evalueren vijf geïmplementeerde agentsystemen op Python en drie op Java. Naast de volledige-patch-slaagratio voeren we patches opnieuw uit na het verwijderen van testbestandbewerkingen om broncode-only reparatie te meten, voegen we een runtime-afgedwongen regime toe dat testbewerkingen blokkeert, en valideren we praktisch gebruik voor repositories waarvan de suites slagen na redding. We vinden dat Claude Code-systemen soms falende tests bewerken, zelfs wanneer daarvan wordt afgezien; met runtime-blokkering redt Kimi nog steeds 41,5% van de repositories. Systemen zijn complementair: hun vereniging bereikt 62,7%, wat het beste enkele systeem met 10,9 punten overtreft. Moeilijkheid concentreert zich in cross-bestand coördinatie: bij 14 repositories die gecoördineerde codebase-brede veranderingen vereisen, slaagt GPT-5.2 via Codex in alle 14, terwijl elk Claude Code-systeem er maximaal twee haalt. Tot slot is een slaagde suite slechts een eerste signaal: van de 34 ononderhouden Python-kandidaten waarvan de suites slagen na redding, werken er 22 in realistische scenario's en slagen er 12 voor bug-hunt met patches die de compatibiliteitsfout aanpakken. RepoRescue benchmarkt compatibiliteitsredding met broncode-only auditing, runtime-afdwinging, praktische validatie en redeneerlabels.

Grote taalmodellen (Large Language Models, LLM's) worden steeds vaker ingezet om acties in de echte wereld uit te voeren en menselijke besluitvorming te ondersteunen, maar de meeste agenten vertrouwen op parametrische kennis, vaste nabehandelingsgegevens, terugvinden of zoeken. Dit paradigma faalt in nieuwe domeinen en voor complexe query's die niet alleen op basis van voorkennis kunnen worden beantwoord. Het kennen van de natuurwetten stelt LLM's bijvoorbeeld niet op zichzelf in staat om query's te beantwoorden of langdurige taken in een complex fysiek systeem te voltooien. Om dit aan te pakken introduceren we Hiërarchische Experimentele Agenten (Hierarchical Experimentalist Agents, HExA), een context-intern zelfverbeteringsraamwerk om te leren van actieve experimenten. HExA ontwerpt en verfijnt iteratief query-relevante experimenten, bouwt een herbruikbare bibliotheek van samenstelbare vaardigheden op uit ervaring en integreert experimenteel bewijs om query's te beantwoorden of acties te ondernemen. HExA is trainingsvrij, compatibel met elk black-boxmodel en vereist geen externe supervisie, orakels of offline data. Om actieve experimentatie te evalueren introduceren we Interphyre, een tool-gebruikende benchmark die is gebouwd op de PHYRE 2D procedurele fysica-omgeving, waarin agenten interventies voorstellen en hypothesen testen via simulatie-API's. Experimenten tonen aan dat huidige LLM-agenten moeite hebben in deze omgevingen, met name op de moeilijkste niveaus van Interphyre. Claude Sonnet 4.6 behaalt slechts 2% succes, terwijl HExA hetzelfde model verbetert tot 77% succes. HExA verbetert ook opengewichtsmodellen en presteert beter dan agentische baselines zoals ReAct en Reflexion. Bovendien, met alleen vaardigheden die zijn geleerd van eenvoudigere niveaus en overgedragen zonder actieve experimentatie, behaalt HExA 44% succes, wat de herbruikbaarheid en generalisatie van de geleerde vaardigheden aantoont. Over het algemeen laat HExA zien dat leren door actieve experimentatie agenten kan helpen nuttige kennis te ontdekken, herbruikbare vaardigheden te verwerven en efficiënte vooruitgang te boeken bij nieuwe langdurige taken.

We presenteren een nul-shot, trainingsvrij en optimalisatievrij raamwerk voor het genereren van 360° panoramische afbeeldingen en video's door rechtstreeks sferische priori's te injecteren in voorgetrainde diffusietransformers. Bestaande methoden zijn ofwel afhankelijk van kostbare fine-tuning op schaarse panoramische gegevens, wat de generalisatie beperkt, ofwel gebruiken ze meerstapsoptimalisatie die leidt tot onaanvaardbare inferentievertraging. We observeren dat hedendaagse generatieve modellen van nature enkele panoramische priori's vertonen door training op grote schaal. Deze emergente capaciteiten zijn echter ontoereikend, omdat de modellen fundamenteel niet voldoen aan de rigoureuze topologische beperkingen die worden opgelegd door equirectangulaire projectie (ERP). We introduceren een nul-shot en optimalisatievrije benadering die deze beperkingen oplost tijdens inferentie. Spherical RoPE vervangt standaard rotatiepositiesinbeddingen: laagfrequente kanalen worden geherparametriseerd als 3D-Cartesiaanse coördinaten om de sferische variëteit van nature te coderen, terwijl hoogfrequente kanalen harmonisch worden gekwantiseerd om exacte periodiciteit af te dwingen. In combinatie met complementaire Semantic Distortion classifier-vrije begeleiding (CFG) die expliciet de geometrie stuurt, vermijden we hertraining en erven we de volledige creatieve breedte van de modernste modellen. Onze benadering generaliseert over diverse backbones en 360°-generatiemodaliteiten. We demonstreren dit voor tekst-naar-panorama met Flux.1-, Flux.2- en LTX-Video-backbones, en behalen concurrerende prestaties ten opzichte van baselines, terwijl we trainingsvrij blijven. Projectpagina: https://orhir.github.io/SpheRoPE

Kunstmatige intelligentiesystemen worden doorgaans geëvalueerd op basis van taakprestaties en gedragsimitatie, maar dergelijke evaluaties laten de vraag open of een kunstmatige agent nieuwe lexicale betekenissen kan verwerven, stabiliseren en gebruiken vanuit ervaring in een verankerde omgeving. Dit artikel introduceert Lexical Consensus, een experimenteel raamwerk voor het bestuderen van verankerd woordleren over een gestructureerd perceptueel substraat. Met behulp van bevroren DINOv2 visuele inbeddingen, Carroll-stijl nonsenswoorden en interpreteerbare lexicale leerders plus lineaire baselines, testen we of agenten kunstmatige labels voor visuele concepten kunnen verwerven, ze bidirectioneel kunnen generaliseren en ze kunnen stabiliseren in gecontroleerde omgevingen. Het belangrijkste resultaat is een robuuste perceptuele-coherentiegradiënt: native categorieën zijn het gemakkelijkst te leren, coherente overextensies blijven leerbaar, disjunctieve concepten van middenbereik verslechteren, en ver-disjunctieve concepten benaderen kansniveau. Een vooraf geregistreerd CIFAR-100 dissociatie-experiment bevestigt dat deze gradiënt wordt bepaald door perceptuele afstand in plaats van semantische verwantschap: perceptuele afstand voorspelt verwerkingsnauwkeurigheid (partiële R² = 0,245, p < 1e-7), terwijl semantische afstand geen significante verklarende kracht toevoegt (partiële R² = 0,002, p = 0,660). Bidirectionele evaluatie laat zien dat benoemen en ophalen verschillend zijn: op voorbeelden gebaseerde mechanismen presteren beter dan centroïde prototypes bij label-naar-beeld ophalen, wat een geheugen-getrouwheidsdimensie blootlegt die losstaat van benoemingsnauwkeurigheid. Falsificatiecontroles, homogene kandidaat-pool evaluaties en nulresultaten op het gebied van representatie-herstructurering geven aan dat bevroren perceptuele geometrie zowel lexicale verankering mogelijk maakt als beperkt wat er kan worden verworven zonder representatie-aanpassing.

Bestaande instructiegebaseerde videobewerkingsdatasets richten zich doorgaans op enkelvoudige uiterlijkbewerkingen, waarmee ze niet voldoen aan de complexe creatieve eisen van realistische scenario’s. Om dit gat te dichten presenteren we Goku, een grootschalige dataset met 2 miljoen hoogwaardige, instructie-afgestemde videobewerkingsparen. Dit is de eerste dataset die de taakgrenzen uitbreidt van basisuiterlijkbewerkingen naar multitaak- en structurele manipulaties (bijv. nauwkeurige controle van onderwerpsbeweging). Om de datasynthesuitdagingen die inherent zijn aan deze complexe taken aan te pakken, ontwerpen we een efficiënte datasynthpijplijn die complexe bewerkingen opsplitst in beheersbare subproblemen en introduceren we een progressief filtersysteem voor gegevensbetrouwbaarheid gedurende het hele proces. Verder onderzoeken we de optimale netwerkstructuren op Goku en stellen we Goku-Edit voor. Om complexe bewerkingsinstructies diepgaand te begrijpen, maakt Goku-Edit gebruik van een MLLM als zijn tekstencoder en hanteert een ontkoppeld tweevaksontwerp: een speciale maskertak handelt structurele controle af, zodat de hoofdtak zich kan richten op uiterlijkweergave. Ook wordt een uitgebreide videobewerkingsbenchmark, Goku-Bench, voorgesteld met 1.000 menselijk geverifieerde testgevallen en 7 nieuwe bewerkingsspecifieke metrieken. Geëvalueerd op Goku-Bench behaalt Goku-Edit een verbetering van maximaal +8% ten opzichte van andere open-sourcemodellen wat betreft instructieopvolging.

Gesproken taalmodellen (SLM's) breiden LLM's uit naar spraakinvoer en -uitvoer. Bestaande SLM's representeren spraak met vaste framesnelheden (bijv. 25 of 12,5 Hz), waarbij ze de tijdsvariërende informatiedichtheid van spraak negeren en geen flexibiliteit bieden om kwaliteit in te ruilen voor snelheid tijdens inferentie. Recent onderzoek naar audio-tokenizers heeft dynamische framesnelheidscodering voor spraak voorgesteld, die deze niet-uniformiteit benut en twee nieuwe mogelijkheden biedt: zeer lage gemiddelde framesnelheden en beheersbaarheid van de framesnelheid. Deze techniek is echter nog niet toegepast op SLM's. Wij introduceren het Flexible Spoken Language Model (FlexiSLM), het eerste SLM dat dynamische en beheersbare framesnelheden ondersteunt voor zowel spraakinvoer als -uitvoer. Met behulp van dynamische framesnelheidsrepresentaties overtreft FlexiSLM vaste-framesnelheid 7B-modellen, waaronder Qwen2.5-Omni en Kimi-Audio, op zijn hoogwaardige werkpunten. We verifiëren verder dat FlexiSLM nauwkeurig kan worden gestuurd tot 4,0 Hz; bij 6,25 Hz halveert het ongeveer de inferentietijd ten opzichte van 12,5 Hz, terwijl het een sterke spraak-naar-spraakkwaliteit behoudt. Audiovoorbeelden zijn beschikbaar op https://flexislm.github.io.