Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Wij introduceren een axiomatisch evaluatiekader voor latente gedachterepresentaties in LLM's, bestaande uit metrieken die onafhankelijk zijn van downstream-benchmarkscores en representatiefouten onthullen die door benchmarknauwkeurigheid worden gemaskeerd. Bestaande evaluaties verwarren representatiekwaliteit met modelcapaciteit. Daarom kunnen fouten niet worden toegeschreven aan de representatie in plaats van aan het model dat deze verwerkt. Wij formaliseren vier functionele axioma's (Causaliteit, Minimaliteit, Scheidbaarheid en Stabiliteit) en definiëren voor elk een kwantitatieve maat, direct berekend op de representatie, onafhankelijk van downstream-nauwkeurigheid. Wij auditen opengewicht-LLM's over 23 redeneertaken (bijv. Ruimtelijk Redeneren, Feitelijke QA). Wij constateren dat geen enkele kandidaat alle vier de axioma's tegelijkertijd vervult, dat de representaties het taaktype betrouwbaar onderscheiden maar geen onderscheid kunnen maken tussen twee vragen binnen dezelfde taak, en dat de representaties weinig informatie coderen boven wat al aanwezig is in de invoer-embedding. Het falen is consistent over dichte, via redeneringsdestillatie getrainde en met RL getrainde modelfamilies, wat aangeeft dat de kloof structureel is en geen eigenschap van modelgrootte of trainingsprocedure.
Videogeneratiemodellen zijn naar voren gekomen als een veelbelovend paradigma voor belichaamde wereldsimulatie. Zowel algemene videogeneratoren als robotspecifiek met data fijn afgestelde modellen kunnen echter nog steeds fysiek onwaarschijnlijke manipulaties produceren, waaronder discontinue bewegingsbanen en inconsistente robot-objectinteracties, wat hun betrouwbaarheid als wereldsimulatoren beperkt. Uit uitgebreide experimenten blijkt dat dergelijke fysieke instabiliteit voornamelijk voortkomt uit twee factoren: vervorming van bewegende objecten en onwaarschijnlijke spatiotemporele correlaties tussen interagerende entiteiten, met name tijdens contact. Op basis van deze observatie stellen we PhysisForcing voor, een schaalbaar trainingsraamwerk dat fysieke consistentie versterkt door supervisie te richten op fysica-informatieve regio's via gezamenlijke optimalisatie van pixelniveau- en semantisch-niveaukenmerken. Het raamwerk bestaat uit een verlies voor trajectuitlijning op pixelniveau, dat DiT-kenmerken superviseert met behulp van referentiepuntbanen, en een verlies voor relationele uitlijning op semantisch niveau, dat DiT-kenmerken uitlijnt met interregionale relaties geëxtraheerd uit een bevroren video-begripsencoder. Uitgebreide experimenten op R-Bench, PAI-Bench en EZS-Bench tonen aan dat PhysisForcing consistent de belichaamde videogeneratie verbetert ten opzichte van sterke basislijnen, met een verbetering van de Wan2.2-I2V-A14B- en Cosmos3-Nano-basismodellen op R-Bench met 22,3% en 9,2% (7,1% en 3,7% ten opzichte van standaard finetuning), waarbij de Cosmos3-Nano-variant de beste algehele score behaalt. Naast generatie verhoogt het, als wereldmodel onder het WorldArena-actieplannerprotocol, het gesloten-lus-succespercentage van 16,0% naar 24,0% en verbetert het verder het stroomafwaartse beleidssucces, wat aangeeft dat fysiek uitgelijnde videomodellen sterkere representaties opleveren voor robotmanipulatie.
Wij presenteren Qwen-Image-2.0-RL, een post-training pijplijn die versterkend leren van menselijke feedback (RLHF) en on-policy distillatie (OPD) toepast om zowel de visuele kwaliteit als het instructie-volgend vermogen van het Qwen-Image-2.0 diffusiemodel te verbeteren. Om betrouwbare beloningssignalen te leveren, construeren we taakspecifieke samengestelde beloningsmodellen door visie-taalmodellen fijn af te stemmen met een puntsgewijs scoreparadigma en keten-van-gedachte redenering. Voor tekst-naar-beeld generatie dekken de beloningsmodellen de dimensies van alignering, esthetiek en portretgetrouwheid. Voor beeldbewerkingstaken behandelt het beloningssysteem de nauwkeurigheid van instructie-opvolging en het behoud van gezichtsidentiteit. Voortbouwend op dit beloningssysteem ontwikkelen we een schaalbaar GRPO-gebaseerd RL-trainingsraamwerk, met een hybride klasseervrije begeleiding (CFG)-strategie om voorgetrainde kennis te behouden, prompt-curatie via intra-groep beloningsbereikfiltering, en per-categorie beloningsgewichtkalibratie. Om de taakspecialistische RL-beleidslijnen voor T2I en bewerking te combineren, stellen we on-policy distillatie voor als de laatste trainingsfase, die meerdere leraren consolideert in één studentmodel via snelheidsmatching op trajectniveau. Uitgebreide evaluatie toont aan dat Qwen-Image-2.0-RL een algemene score van 57,84 behaalt op Qwen-Image-Bench (+2,61 ten opzichte van het basismodel), Elo-rating van 1193 in de tekst-naar-beeldarena (+78) en 1349 in de beeldbewerkingsarena (+93), wat consistente verbeteringen aantoont in esthetische kwaliteit, prompt-naleving en bewerkingsnauwkeurigheid.
Wij onderzoeken of we nieuwe manipulatievaardigheden van menselijke acties kunnen overdragen naar een tweehandige robot met parallelle grijpers. Menselijke actiedata is goedkoop, overvloedig en divers, waardoor het een van de meest veelbelovende bronnen is voor het opschalen van robotleren. Toch blijft het overbrengen van vaardigheden van mensen naar robots lastig: het meeste eerdere werk beschouwt mensen als slechts een andere tweehandige 6DoF-embodiment, waarbij handpositieschattingen ruisachtig zijn en de contactpatronen van menselijke vingers fundamenteel verschillen van die van een parallelle grijper. Wij stellen daarom dat het leren van rotatie-inclusieve actiesignalen uit menselijke data suboptimaal is, en stellen in plaats daarvan een overbruggende actierepresentatie voor: de relatieve polstranslatie binnen het initiële hoofdcameraframe, een actieruimte die gedeeld wordt door mens en robot. Om de mogelijke afwezigheid van bepaalde actiecomponenten in verschillende embodiments te hanteren, bouwen we een π₀-achtig visie-taal-actiemodel met afgewisselde actietokens en aandachtmaskering. Op een reeks nieuwe tweehandige manipulatie taken brengt onze overbruggende actie menselijke manipulatiekennis veel effectiever over dan ruizige 6DoF-menselijke acties en schaalt deze met de hoeveelheid menselijke data.
Fundamentmodellen in taal en multimodaliteit bereiken sterke generalisatie door heterogene data te aligneren onder een uniforme formulering en op schaal te trainen. In dit rapport onderzoeken we of dit schaalrecept kan worden toegepast op robotmanipulatie om echte generalisatie te bereiken. Dit is uitdagend omdat manipulatiegegevens, in tegenstelling tot tekst, van nature heterogeen, duur om te verzamelen en smal in diversiteit zijn, wat het tegelijkertijd aligneren en schalen moeilijk maakt. We presenteren Qwen-RobotManip, een generaliseerbaar Visie-Taal-Actie fundamentmodel gebouwd op Qwen-VL. Qwen-RobotManip introduceert een uniform aligneringskader over de representatie-, bewegings- en gedragsdimensies van manipulatie, waardoor grootschalige multi-brontraining coherent wordt in plaats van conflicterend. Deze aligneringscapaciteit stelt Qwen-RobotManip op zijn beurt in staat om manipulatiegegevens te absorberen op een schaal die eerdere trainingsregimes niet konden ondersteunen. Een mens-naar-robot synthese-pijplijn zet egocentrische handdemonstraties om in robotbanen over 15 platforms, en een rigoureuze curatiepijplijn harmoniseert heterogene datasets. Met alleen opensource-datasets en menselijke video's zonder eigen dataverzameling construeert Qwen-RobotManip een ~38.100 uur durend pretrainingcorpus en vertoont het emergente generalisatiecapaciteiten, waaronder zero-shot instructieopvolging, robuustheid tegen verstoringen, reactief foutherstel en cross-embodiment transfer. We vinden dat standaard benchmarks er niet in slagen de pretrainingkwaliteit te vatten en in plaats daarvan OOD-instellingen aannemen, waaronder RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF en RoboTwin-XE. Qwen-RobotManip presteert aanzienlijk beter dan eerdere state-of-the-art modellen, waaronder π0.5, in alle OOD-instellingen, staat op de 1e plaats in RoboChallenge met een relatieve verbetering van 20%, en wordt gevalideerd op echte robotplatforms waaronder AgileX ALOHA, Franka, UR en ARX.
Agentische navigatiesystemen vereisen een basisnavigatiemodel waarvan de observatiestrategie tijdens inferentie extern kan worden geherconfigureerd, omdat instructievolgen, objectzoeken, doelvolgen en autonoom rijden dezelfde perceptie-planningsbackbone delen, maar fundamenteel verschillende strategieën vereisen voor het verwerken van de visuele stroom. We presenteren Qwen-RobotNav, een schaalbaar navigatiemodel gebaseerd op Qwen-RobotNav dat dit aanpakt via een geparametriseerde interface met twee complementaire dimensies: meerdere taakmodi die het navigatiegedrag selecteren, en controleerbare observatieparameters (bijv. tokenbudget, gewichten per camera) die bepalen hoe de visuele geschiedenis wordt gecodeerd. Door randomisatie tijdens training over alle parameters is Qwen-RobotNav robuust voor elke configuratie tijdens inferentie, zonder dat er architectuuraanpassingen aan de Qwen-RobotNav-backbone nodig zijn. We trainen Qwen-RobotNav op 15,6 miljoen samples; gezamenlijke training met visueel-taalkundige data voorkomt het ineenstorten tot reactieve actievolgorde-mappers zoals waargenomen bij trajectorie-only training. De geparametriseerde interface maakt Qwen-RobotNav ook een natuurlijke bouwsteen voor agentische systemen: voor lange-termijnscenario's splitst een planner op hoger niveau doelen op in subtaken en schakelt dynamisch de taakmodus en contextstrategie van Qwen-RobotNav halverwege een episode om, waardoor complex gedrag wordt samengesteld uit herhaalde aanroepen van hetzelfde model. Uitgebreide experimenten tonen aan dat Qwen-RobotNav nieuwe state-of-the-art resultaten behaalt op belangrijke navigatiebenchmarks. Het model vertoont gunstige schaling van 2B naar 8B parameters, waarbij gezamenlijke multi-taak training een gedeeld ruimtelijk-planningssubstraat ontwikkelt dat overdraagt tussen taakfamilies, en vertoont sterke zero-shot generalisatie naar robotten in de echte wereld in diverse omgevingen.
Taalmodellen (TM's) representeren tokens met behulp van inbeddingsmatrices die lineair schalen met de woordenlijstgrootte. Om de parameteromvang te beperken, stelt eerder werk voor om veel tokens te hashen naar een enkele vector binnen encoder-only modellen. Hoewel dit parameter efficiëntie biedt, verhinderen vele-op-één botsingen het gebruik ervan in causale TM's. In dit artikel introduceren we MultiHashFormer, een nieuw raamwerk dat op hash gebaseerde autoregressie mogelijk maakt. Elk token wordt gerepresenteerd als een unieke hash-handtekening, een korte reeks discrete hash-ID's, gegenereerd door meerdere onafhankelijke hashfuncties. Een Hash Encoder comprimeert deze handtekening tot een enkele latente vector voor verwerking door een Transformer-decoder. Vervolgens genereert een Hash Decoder de hash-handtekening van het volgende token, die vervolgens wordt teruggekoppeld naar tekst. We evalueren onze aanpak op de schalen van 100M, 1B en 3B parameters, en tonen aan dat MultiHashFormer consequent beter presteert dan standaard Transformer-TM's op meerdere benchmarks. Bovendien laten we zien dat ons model meertalige woordenlijstuitbreiding aankan met een constante parameteromvang, zonder enige aanpassingen.
Visie-taalmodellen (VLMs) worden steeds vaker ingezet in consumenten-, medische, financiële en zakelijke toepassingen. Deze brede inzet vergroot het veiligheidsoppervlak: risico's kunnen ontstaan door multimodale vraagbeantwoording, assistentreacties en cross-modale compositie, terwijl moderatiebeleid kan variëren per product, regio en implementatiefase. De meeste bestaande guardrails vertrouwen op vaste taxonomieën of richten zich slechts op een beperkte set interactie-instellingen, wat hun aanpasbaarheid beperkt wanneer veiligheidsregels tijdens de implementatie veranderen. Wij presenteren SingGuard, een beleidsadaptieve multimodale guardrail-modelfamilie voor veiligheidsbeoordeling in multimodale gesprekken. SingGuard behandelt het actieve beleid als een runtime-invoer: gegeven natuurlijke-taalregels controleert het de doelinhoud regel voor regel tegen het actieve beleid en voorspelt het zowel het veiligheidslabel als de geactiveerde regel. Om efficiëntie en interpreteerbaarheid in balans te brengen, ondersteunt SingGuard snelle, hybride en langzame inferentiemodi langs een spectrum van snel naar langzaam redeneren, variërend van directe veiligheidsoordelen tot beleidsgedragen beraadslaging. We optimaliseren dit gedrag verder met snel-langzaam ontkoppeld bekrachtigingsleren. We introduceren ook SingGuard-Bench, een multimodale guardrail-benchmark met 56.340 voorbeelden die 80+ fijnmazige risicotypen omvatten in multimodale QA, adversarial attack en dynamische-regel evaluatie-instellingen, inclusief cross-modale gezamenlijke risicogevallen waarbij elke modaliteit op zichzelf onschadelijk is maar hun compositie een onveilige bedoeling impliceert. Over zes benchmarkfamilies (35 datasets) behaalt SingGuard in elke familie een state-of-the-art gemiddelde F1-score. Dynamische-regel evaluatie toont verder een verbeterde beleidsvolgnauwkeurigheid van 0,6465 naar 0,7415 bij beleidsverschuivingen tijdens runtime. Onze code is beschikbaar op https://github.com/inclusionAI/Sing-Guard.
Multi-agentsystemen (MAS) gebaseerd op grote taalmodellen (LLM's) bieden een veelbelovend raamwerk voor het oplossen van complexe taken door middel van rolspecialisatie en gestructureerde interactie. Hun prestaties worden echter vaak beperkt door slechte coördinatie en, fundamenteler, het ontbreken van fijnmazige toewijzing van credits over agenten heen. Bestaande benaderingen vertrouwen doorgaans op grofmazige feedback, waardoor het moeilijk is om te identificeren welke agenten of interactiestappen verantwoordelijk zijn voor fouten. Wij stellen Gradient-Based Connections (GBC) voor, een benadering voor fijnmazige attributie en optimalisatie van multi-agentsystemen. GBC modelleert een MAS als een computationele graaf en introduceert gradiëntgebaseerde verbindingsgewichten om de invloed van de output van elke agent op stroomafwaartse agenten op tokenniveau te kwantificeren. Door het construeren van een attributiegraaf en het achterwaarts propageren van taakspecifieke verliessignalen, maakt onze methode nauwkeurige identificatie van foutbronnen en gerichte promptoptimalisatie mogelijk. Verder ontwikkelen we AgentChord, een efficiënte implementatie die gebruikmaakt van prefix-gebaseerde gradiëntberekening. Experimenten op MultiWOZ en τ-bench tonen aan dat GBC de prestaties van multi-agentsystemen verbetert en sterke single-agent- en multi-agent-baselines overtreft, en dat een hogere attributiekwaliteit samenhangt met grotere optimalisatie-effectiviteit. Code is beschikbaar op: https://github.com/yxc-cyber/AgentChord.
Robots die opereren in open-wereldomgevingen moeten lokalisatie, ruimtelijk redeneren, navigatie en planning over lange tijdshorizonten naadloos integreren. Hoewel specialistische modellen uitblinken in individuele taken, is het inzetten van een multi-modelstack rekenintensief en vatbaar voor cascadefouten. Wij presenteren Vesta, een verenigde belichaamde generalist die deze capaciteiten consolideert in één enkel fundatiemodel. Onze aanpak combineert een divers en omvangrijk samengesteld corpus dat is ontworpen om ruimtelijke verankering te induceren, met een eenvoudig multimodaal geheugenmechanisme dat redeneren over uitgebreide tijdshorizonten mogelijk maakt. Over diverse benchmarks heen presteert Vesta gemiddeld >20% beter dan individuele SOTA-baselines en >10% beter dan een ensemble van per-categorie beste baselines – waarmee wordt aangetoond dat een generalistisch model specialisten kan evenaren of overtreffen. Bij robotica taken in de echte wereld die geheugen en redeneren vereisen, verbetert Vesta het taaksucces met >35%. Ons werk toont daarmee aan dat een enkele generalist een haalbaar, schaalbaar en bij voorkeur te verkiezen alternatief is voor het combineren van specialisten.
Tekstdetoxificatie, de geautomatiseerde detectie en mitigatie van beledigende en schadelijke inhoud, is essentieel voor het waarborgen van de veiligheid van online gemeenschappen en het beschermen van gebruikers. Echter, talen met weinig bronnen zoals het Tataars hebben weinig onderzoeksaandacht gekregen. In dit artikel presenteren we Tatoxa, een nieuw state-of-the-art systeem voor tekstdetoxificatie in de Tataarse taal. Vergelijkende experimenten tonen aan dat de voorgestelde aanpak bestaande open source en propriëtaire commerciële LLM's overtreft op belangrijke kwaliteitsmetrics. We introduceren ook een nieuwe dataset voor tekstdetoxificatie in het Tataars, ontworpen voor fine-tuning en evaluatie in omgevingen met weinig bronnen. Ten slotte geven cross-linguale transferexperimenten aan dat transfer vanuit andere talen, waaronder het cultureel verwante Russisch, significant slechter presteert dan trainen op inheemse Tataarse data, zelfs wanneer een groot Russisch corpus beschikbaar is.
Knowledge-based Visual Question Answering (KB-VQA) vereist dat modellen beeldbegrip combineren met externe kennis. De meeste bestaande methoden gebruiken een vaste ophaal-en-genereerpijplijn met een vooraf geselecteerde ophaalmethode en een statische top-k-instelling, die niet adaptief is tijdens het redeneren. Wij stellen ProMSA voor, een progressieve multimodale zoekagent voor KB-VQA. Bij een beeld-vraagpaar kiest de agent iteratief voor beeldzoekopdracht, tekstzoekopdracht of stoppen, onder expliciete budgetten voor toolaanroepen en met deduplicatie om overbodig ophalen te voorkomen. Voor training gebruiken we eerst verwerpingssteekproef-SFT om geldige toolgebruikformaten aan te leren, en optimaliseren we vervolgens de agent met TN-GSPO, een RL-doelstelling op sequentieniveau die updates normaliseert op basis van zowel generatielengte als diepte van toolinteractie. Experimenten op E-VQA en InfoSeek tonen consistente winst aan ten opzichte van sterke RAG- en agentbaselines, evenals verbeterde ophaal- en end-to-endnauwkeurigheid. De code is beschikbaar op https://github.com/DingWu1021/Promsa.
Stemagenten worden geconfronteerd met een fundamentele spanning: de redenering, het ophalen van informatie en het gebruik van hulpmiddelen die fundatiemodellen bekwaam maken, zijn iteratief en traag, terwijl conversationele interactie reacties binnen milliseconden vereist. Kleinere real-time modellen voldoen aan de latentiedrempel, maar kunnen qua complexe taken niet tippen aan fundatiemodellen, waardoor huidige stemagenten moeten inleveren op ofwel responsiviteit ofwel capaciteit. Wij introduceren conversationele aanvulling, waarbij een klein spraakmodel zowel direct contextueel onderbouwde reacties genereert om de latentie van een extern redeneermodel te verbergen, alsook tijdens de inferentie vloeiend de gestreamde kennis van het redeneermodel in zijn reacties integreert. We stellen een synthetische dataset samen met 290.571 voorbeelden uit zes domeinen en tonen aan dat deze taak leerbaar is voor zeven veelgebruikte kleine taalmodellen variërend van 135M tot 1,7B parameters. Onze systeemimplementatie, ConvFill, handhaaft een tijd-tot-eerste-reactie op millisecondenniveau, terwijl de nauwkeurigheidskloof wordt verkleind tot binnen 6,3% van de corresponderende prestaties van het grensverleggende redeneermodel. In een live gebruikersonderzoek (n=18) met spraakmodellen die draaien op een Apple M2 SoC, beoordelen deelnemers ConvFill over het algemeen als gelijkwaardig aan grensverleggende modellen, geven ze er de voorkeur aan bij taken die veel ophaalwerk vereisen, en vinden ze het significant responsiever. Deze resultaten tonen aan dat conversationele aanvulling een nieuw punt op de latentie-capaciteit Pareto-grens ontsluit, wat een praktische weg biedt naar stemagenten die zowel responsief als zeer bekwaam zijn. Code, modellen en datasets zijn beschikbaar op https://github.com/vysri/conversational-infill.
Web-agent benchmarks meten overwegend diepte – het achterhalen van één obscure antwoord achter een reeks constraints – terwijl breedte, het uitputtend opsommen van een gesloten verzameling en het invullen van de attributen van elk item, nauwelijks wordt geëvalueerd, vooral buiten het Engels. Breedte is ook moeilijk te bouwen: het certificeren dat een gouden set volledig is en elke cel correct, is veel duurder dan het controleren van één enkel antwoord. Ik introduceer Ko-WideSearch, een Koreaans breedte-zoekbenchmark, gebouwd door een geautomatiseerde synthesize-en-verify-pijplijn. Elke taak noemt een set-ouderentiteit – een tv-seizoen, een dynastie, een competitie, een bestuurlijke regio, een verkiezing – en vraagt om de volledige lidmaatschap plus een per-item attributentabel, beoordeeld op Item-, Column- en Row-F1. Het omvat 228 tabellen over 190 entiteiten en zestien categorieën in drie moeilijkheidsniveaus, ingesteld door twee structurele knoppen die ik onafhankelijk draai – tabelbreedte en een 2D-composietsleutel – zodat het cross-productlidmaatschap oploopt van 0% naar 100% over de niveaus heen. Een enkele normalisatie-bewuste comparator wordt gedeeld tussen goudconstructie en beoordeling, zodat stabiele datum- en aantalkolommen niet worden overgeselecteerd op basis van alleen opmaak. Bij twintig web-agents is de mislukking consistent: agents herstellen de set maar niet de rijen (bijv. Item-F1 92,8 tegen Row-F1 53,7), de nauwkeurigheid daalt gestaag naarmate de knoppen worden aangescherpt, en noch meer zoeken noch meer uitgeven overbrugt de kloof. Uitgesplitst naar cel, is het moeilijke deel het vinden van de juiste waarde, niet het opmaken ervan: open vrije-tekstcellen falen het meest, terwijl cellen met een standaardantwoord zoals een datum of naam meestal goed uitkomen.
Het trainen en evalueren van robotbeleid in de echte wereld is kostbaar en moeilijk op te schalen. We introduceren SimFoundry, een modulair en geautomatiseerd systeem voor zero-shot real-to-sim scèneconstructie op basis van een video. SimFoundry genereert sim-klare digitale tweelingen en ondersteunt bewerking van objecten, scènes en taken, waardoor de geautomatiseerde generatie van diverse digitale neven mogelijk wordt: affordantie-behoudende variaties van gereconstrueerde real-world scènes. Beleid getraind op SimFoundry-gegevens wordt zero-shot overgedragen naar uitdagende real-world taken waarbij meerstapsmanipulatie, interactie met gearticuleerde objecten en bimanuele interactie komen kijken, en de digitale neven (variaties van de oorspronkelijke scène, objecten en taken) vergemakkelijken generalisatie naar nieuwe real-world omstandigheden. Over 7 manipulatietaken en 5 beleidsarchitecturen heen voorspellen SimFoundry-simulatie-evaluaties de real-world prestaties sterk, met een gemiddelde Pearson-correlatie van 0,911 en een gemiddelde maximale rangschikkingsschending van 0,018. Bij het zero-shot evalueren van sim-getraind beleid in de echte wereld, vertoont beleid dat is getraind met object-, scène- en taakneven in simulatie een gemiddelde verbetering van het taaksuccespercentage van respectievelijk 17%, 21% en 40%. Aanvullende details op https://research.nvidia.com/labs/gear/simfoundry/ .
Om agenten in staat te stellen continu te leren door interactie met de wereld tijdens het testen, moeten ze effectief kunnen verkennen, nieuwe wereldkennis en vaardigheden kunnen verwerven, relevante episodische ervaringen kunnen onthouden en over lange tijdsperioden kunnen plannen. Om deze essentiële vaardigheden van agenten voor continu leren tijdens het testen te evalueren, introduceren we AgentOdyssey, een nieuw evaluatiekader dat procedureel open-ended tekstspellen genereert met rijke entiteiten, werelddynamieken en langdurige taken. Belangrijk is dat AgentOdyssey verder gaat dan de conventionele machine learning-aanname dat leren niet plaatsvindt tijdens het testen, door agenten in een continue, langdurige omgeving te plaatsen die leren en inferentie gedurende de gehele implementatie afwisselt. We stellen verder een veelzijdige evaluatiemethodologie voor die niet alleen de spelvoortgang meet, maar ook diagnostische tests biedt voor het verwerven van wereldkennis, episodisch geheugen, verkenning van objecten en acties, actiediversiteit en modelkosten. We evalueren verschillende agentparadigma's in de gegenereerde spellen. Onze experimentele resultaten onthullen kritische beperkingen in de essentiële vaardigheden van agenten, evenals factoren die hun betekenisvolle horizon beïnvloeden. Hoewel de prestaties schalen met sterkere basismodellen, blijft zelfs de beste agent ver onder de menselijke prestaties, wat aanzienlijke ruimte voor verbetering biedt. Onder de agentmechanismen zien we dat kortetermijngeheugen meerdere agentparadigma's ten goede komt en een belangrijk onderdeel is van de training van agenten tijdens het testen.
Kunstmatige intelligentie drijft een revolutie in wetenschappelijke ontdekkingen aan, waarbij alles van hypothesegeneratie tot het bewijzen van wiskundige stellingen wordt versneld. Deze snelle versnelling creëert echter een systemische uitdaging: traditionele menselijke peer review kan niet opschalen om gelijke tred te houden met de instroom van AI-ondersteunde wetenschap. Om deze spanning op te lossen, moeten we uiteindelijk ook AI inzetten om het verificatie- en reviewproces zelf te versnellen. Om de discussie rond deze overgang te kaderen, stellen we een taxonomie voor die bestaat uit vier progressieve niveaus van AI-menselijke samenwerking bij wetenschappelijke evaluatie, en bespreken we verschillende afwegingen die bij elk niveau komen kijken. Als stap in de richting van deze toekomst introduceren we de Paper Assistant Tool (PAT), een agentisch AI-raamwerk ontworpen voor diepgaande wetenschappelijke review en verificatie. PAT neemt volledige wetenschappelijke manuscripten op en produceert een uitgebreide evaluatie, waarbij theoretische resultaten worden gecontroleerd, experimenten worden gevalideerd, verbeteringen worden voorgesteld en mogelijke fouten worden geïdentificeerd. Door gebruik te maken van inferentieschalingstechnieken kan PAT diepere problemen identificeren dan een enkele modelaanroep alleen, wat een verbetering van 34% oplevert ten opzichte van zero-shot recall voor wiskundige fouten in de SPOT-benchmark. Proefimplementaties van PAT als een pre-submissietool voor auteurs op twee grote Computer Science-conferenties -- STOC en ICML -- tonen het vermogen aan om kritieke fouten te identificeren en substantiële verbeteringen aan onderzoekspapers voor te stellen. Door fouten vroegtijdig op te sporen, verlicht PAT de cognitieve last die op recensenten rust, terwijl hun controle over de uitkomsten van het reviewproces behouden blijft.
Visie-Taal-Actiemodellen (VLA) kunnen generaliseren over uiteenlopende manipulatietaken, maar hun op imitatie leren gebaseerde beleidsstrategieën blijven kwetsbaar in precieze fysieke interacties door cumulatieve uitvoeringsfouten. Kan een reinforcement learning-beleid dat puur in simulatie is getraind de robuustheid van echte VLA’s zero-shot verbeteren? Residuele RL, dat een corrigerend beleid leert bovenop een bevroren VLA, biedt een natuurlijk raamwerk, maar bestaande benaderingen worden geconfronteerd met een fundamenteel sim-to-real-dilemma: methoden met geprivilegieerde toestanden vereisen verliesgevende distillatie voor implementatie; op beeld gebaseerde methoden lijden onder de visuele domeinkloof; en echte RL is kostbaar en onveilig. Wij stellen een objectgecentreerd residueel RL-raamwerk voor dat VLA-acties verfijnt met objectposes, wat een compacte observatieruimte mogelijk maakt die consistent overdraagt tussen simulatie en werkelijkheid. Om de twee domeinen op elkaar af te stemmen, spelen we bovendien dezelfde teleoperatiedemonstraties na in simulatie om een simulatie-tegenhanger van de echte VLA te trainen. Het residuele RL-beleid wordt uitsluitend in simulatie getraind met pose-ruisinjectie en dropout, en draagt zero-shot over naar de echte robot. Over vijf manipulatietaken op een echte Franka Research 3 (FR3)-robot verbetert onze methode het slagingspercentage van 42% naar 76% zero-shot, en de verbeterde rollouts kunnen verder worden hergebruikt om de basis-VLA opnieuw te trainen voor zelfverbetering zonder extra teleoperatie. Projectpagina: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
Ik beschrijf mijn oplossing voor de LeHome Challenge 2026, een ICRA 2026-competitie over bimanueel kledingstukvouwen. Het systeem eindigde als 1e van 62 teams in de online (simulatie)ronde en als 2e in de finale in de echte wereld. Het verbetert een visie-taal-actiebeleid (VLA) met een versterkingsleer-lus. Het beleid fungeert als zijn eigen waardefunctie: hetzelfde netwerk dat acties voorspelt, voorspelt ook succes, voortgang en een aantal taakrelevante toekomstige grootheden, en deze voorspellingen drijven voordeelschatting, foutdetectie in real-time en kandidaatselectie aan. Het werk combineert grotendeels bestaande RL-ideeën met technische en optimalisatiebijdragen die samen als één recept of afzonderlijk kunnen worden gebruikt: AWR + RECAP gecombineerd voor stroomafstemmende VLA; een asynchrone gedistribueerde trainings-/uitrolpijplijn via HuggingFace Hub; optimalisatie van hyperparameters tijdens inferentie via Thompson-steekproef; een sim-naar-real-recept met gereedschap voor camera-uitlijning, zware augmentatie en DAgger-achtige HIL-gegevensverzameling.
Pixelruimte continue-token autoregressieve (AR) generatie modelleert afbeeldingen direct als reeksen van ruwe pixelpatches, waarbij discrete tokenisatie of een apart voorgetrainde tokenizer wordt vermeden. Het staat echter voor gekoppelde uitdagingen: hoogdimensionale patchgeneratie veroorzaakt grote enkelstapsfouten, en docent-gedwongen training creëert een train-inferentiekloof die ervoor zorgt dat deze fouten zich ophopen over AR-stappen heen. Bestaande oplossingen zoals x-voorspelling en ruisinjectie op de invoer verminderen deze problemen slechts gedeeltelijk. Exacte rollout-training komt beter overeen met de omstandigheden tijdens inferentie, maar is onpraktisch vanwege de prohibitief trage sequentiële bemonstering. We stellen Parallelle Rollout Benadering (PRA) voor, een schaalbaar raamwerk dat beide uitdagingen gezamenlijk aanpakt. PRA genereert laagdimensionale tussentoestanden in plaats van hoogdimensionale pixelpatches, en kaart ze vervolgens terug naar pixelruimte-tokens met een pixeldecoder, waarbij een pixel-in, pixel-out AR-interface behouden blijft. Het construeert ook inferentie-achtige pixelinvoeren via hetzelfde tussentoestand-naar-pixel pad dat bij inferentie wordt gebruikt, onafhankelijk over posities heen, waarbij de pixel-feedback interface wordt benaderd die tijdens rollout tijdens inferentie wordt tegengekomen, terwijl parallelle docent-gedwongen training behouden blijft. Bij klasse-conditional ImageNet-1K generatie op 256×256 resolutie behaalt PRA-S met 135M parameters een FID van 2,58, waarmee het eerdere pixelruimte AR-resultaat op miljardenschaal van 3,60 wordt overtroffen. Opschaling naar PRA-L met 511M parameters verbetert de FID verder tot 1,94, waarmee een nieuwe state-of-the-art onder pixelruimte AR-modellen wordt gevestigd. Naast generatie behaalt PRA een hogere ImageNet-classificatie probing-nauwkeurigheid dan andere AR- en diffusie-baselines, wat wijst op zijn potentieel voor uniforme pixelruimte beeldgeneratie en -begrip.
Efficiënte implementatie van grote taalmodellen (Large Language Models, LLM's) in productieomgevingen leidt tot een afweging tussen nauwkeurigheid en kosten. Exploitanten kiezen vaak standaard voor één enkel model dat óf te duur is voor eenvoudige vragen, óf ontoereikend voor moeilijke. Om deze uitdaging aan te pakken, stellen we een cascade-oplossing in twee fasen voor. Fase 1 clustert binnenkomende vragen en wijst elk cluster toe aan het meest kosteneffectieve model. Het kostenbudget voor dit routeringsproces wordt bepaald door een interpreteerbare hyperparameter die offline wordt afgesteld. Fase 2 voegt een kwaliteitsschatting (quality estimation, QE) cascade toe; wanneer een uitvoer uit Fase 1 als van lage kwaliteit wordt beoordeeld, wordt de vraag doorgestuurd naar een sterker model. Dit zorgt ervoor dat alleen moeilijke of onzekere gevallen bij de dure modellen terechtkomen. Op de testdatasets behoudt het cascadesysteem 97-99% van de nauwkeurigheid van het sterkste model, terwijl de tijd per uitvoertoken (Time Per Output Token, TPOT) wordt verlaagd. Het vereist alleen taakcorrectheidslabels en past zich aan veranderingen in de modelpool aan zonder handmatige herconfiguratie.
Videogeneratiemodellen streven ernaar dynamische omgevingen te simuleren, en verschillende benchmarks evalueren nu geheugenconsistentie over frames heen. De meeste beoordelen echter alleen consistentie zolang het doelwit in beeld blijft, en de weinige testen die objecten uit beeld dwingen, evalueren statische scènes waarin niets verandert tijdens occlusie. Om deze kloof te overbruggen introduceren we MemoBench, een diagnostische benchmark die is gebouwd rond het verdwijn-en-verschijn-paradigma in dynamisch veranderende omgevingen: een doelobject ondergaat een fysiek proces, verdwijnt uit beeld, en moet bij terugkeer correct worden hersteld in de bijgewerkte staat. We beheren 360 ground-truth clips die zowel synthetische als echte scènes omvatten, en ontwerpen een evaluatiesuite die geautomatiseerde metrieken combineert met VQA-gebaseerde beoordeling over vier diagnostische pijlers. Evaluatie van acht state-of-the-art modellen onthult belangrijke inzichten en openstaande uitdagingen met betrekking tot geheugenconsistentie onder het verdwijn-en-verschijn-paradigma.
Reinforcement learning (RL) post-training verbetert de beloningsafstemming van stroomgebaseerde generatoren, maar leidt vaak tot een verslechtering van de perceptuele kwaliteit op manieren die niet worden gedetecteerd door de beloningsproxysignaal. We identificeren een eenvoudig structureel kenmerk van deze drift: bij drie post-trainingmethoden (NFT, AWM, DPO) verhoogt RL-fijnafstemming de stapsgewijze snelheidsnorm |v_θ| met 5% tot 15% ten opzichte van de referentie. Een vorm van norminflatie is bestudeerd in classificatorvrije sturing (CFG), waarbij het terugschalen van de snelheid naar een referentienorm tijdens inferentie de resulterende artefacten kan beperken. Deze correctie tijdens inferentie is echter niet direct overdraagbaar naar RL: het terugschalen van v_θ naar |v_ref| tijdens inferentie verbetert noch de beloning, noch herstelt het de kwaliteitsvermindering, omdat de inflatie is geco-adaptieerd in de modelgewichten. Bovendien toont een adjointgevoeligheidsanalyse aan dat het herschalen van de snelheidsgrootte geen coherent first-order beloningssignaal op batchniveau oplevert, wat erop wijst dat het onderdrukken van norminflatie waarschijnlijk geen consistent beloningsdragende component verwijdert. Aangezien hernormalisatie tijdens inferentie faalt en normonderdrukking geen beloningskosten met zich meebrengt, is interventie tijdens training de juiste strategie. Samen leiden deze bevindingen tot \methodname, een scharnierstraf die alleen actief wordt wanneer |v_θ| |v_ref| overschrijdt en additief samenwerkt met elk snelheidslokaal basisverlies. Bij twee basismodellen, drie post-trainingmethoden en twee beloningsproxysignalen verbetert \methodname consistent de door MLLM beoordeelde beeldkwaliteit en forensisch realisme, terwijl de beloning behouden blijft, met voordelen die versterkt worden bij inferentie met weinig stappen en niet worden verklaard door vroegtijdig stoppen.
Op LLM gebaseerde code-agenten navigeren door repositories via trefwoordzoekopdrachten, maar missen de structurele relaties, zoals call graphs, overervingshiërarchieën en configuratieafhankelijkheden, die bepalen hoe software daadwerkelijk werkt. Dit maakt agentnavigatie stochastisch en moeilijk te reproduceren over verschillende runs. We onderzoeken of lichtgewicht statische analyse deterministische ankers kan bieden voor deze agenten: stabiele structurele feiten die als platte-tekstopmerkingen worden geïnjecteerd, die probabilistische verkenning beperken en navigatie voorspelbaarder maken. Uitgaande van een sterke basislijn, Codex van OpenAI, injecteren we systematisch verschillende granulariteiten van structurele annotaties en meten we hun effecten op lokalisatie, trajectgedrag en run-to-run-stabiliteit. Onze studie identificeert wat we het deterministische verankeringseffect noemen: statische structuur helpt minder door agenten 'slimmer' te maken en meer door hun navigatie gedisciplineerd en reproduceerbaar te maken. Drie observaties ondersteunen deze bevinding: (1) Verankering werkt: lichtgewicht call/overervingstopologie verbetert functieniveau-lokalisatie (+2,2 procentpunt Func@5) en verkort trajecten (-1,6 interactierondes); (2) Verankering is schaalgevoelig: de optimale granulariteit en directionaliteit hangen af van repositorykenmerken, waarbij dichtere semantiek afnemende meeropbrengsten vertoont en hub-zware projecten profiteren van alleen inverse links die 'wie-roept-mij' blootleggen zonder forward edges; (3) Verankering stabiliseert: tags verhogen de linkvolgsnelheid van 0,15–0,18 naar 0,21–0,24, halveren ruwweg de run-to-run-variantie en verbeteren de betrouwbaarheid van enkele runs (Pass@1 +3,4 procentpunt) op middelgrote repositories, ten koste van ongeveer 10% meer invoertokens. Deze observaties suggereren praktische richtlijnen: standaard gebruik van lichtgewicht topologie op middelgrote projecten, forward edges weglaten in grote repositories, en dichte tags reserveren voor gevallen met impliciete afhankelijkheden.
Sparse aandacht kan de kosten van inferentie met lange contexten verminderen, maar de meeste varianten introduceren nieuwe architectonische componenten. Wij introduceren Vereenvoudigde Sparse Aandacht (Simplified Sparse Attention, SSA), een eenvoudigere benadering van sparse aandacht die geen architectonische wijzigingen vereist. Concreet voeren we eerst een voortgezette voortraining uit op sequenties die zijn afgewisseld met gist-tokens. We optimaliseren zoals gebruikelijk het standaard next-token verlies, maar de gist-tokens gebruiken een aandachtsmasker om te beperken naar welke delen van de context het taalmodel kan kijken; dit leert het model om de belangrijke informatie van elk blok in de gist-tokens te verpakken. Tijdens inferentie scoort SSA blokken via aandacht tussen de huidige query en de kleine set gist-tokens, waarbij de top-k blokken selectief worden uitgevouwen door de bijbehorende ruwe tokens opnieuw in te voeren. Omdat de query alleen tegen de gist-tokens wordt gescoord, vermijden we de geheugenbandbreedtekosten die gepaard gaan met naïef scoren tegen de volledige KV-cache, zonder dat de hulp-KV-cache-aanpak nodig is die door sparse aandachtmethoden wordt gebruikt. Op LongBench presteert SSA consequent beter dan compressie- en inferentie-tijd sparse aandacht-baselines onder dezelfde compressieratio. Opvallender is dat bij retrieval-verbeterde generatie SSA na voortgezette voortraining zelfs meer dan 5,7 punten beter kan presteren dan volledige aandacht. Dit schrijven we toe aan het vermogen van SSA's selectieve uitvouwing, die de aandacht concentreert op de voor de query relevante blokken en effectief ruis wegfiltert. SSA breidt zich verder uit naar een hiërarchische gist-van-gist variant (H-SSA) die een log-lineaire decoderingcomplexiteit bereikt terwijl de nauwkeurigheid behouden blijft of verbetert bij hoge compressieratio's tot 32x. De code is beschikbaar op https://github.com/yuzhenmao/simplified-sparse-attention/.
Tokenisatie staat centraal bij het aanpassen van wetenschappelijke gegevens voor transformer-gebaseerde fundamentmodellen, maar de impact ervan op geleerde representaties is nog slecht begrepen. We vergelijken vier tokenisatiestrategieën, Affine, AIM, JetFormer en VQ-VAE, binnen een uniform transformerraamwerk voor astronomische beeldvorming. Met behulp van 640.000 sterrenstelselafbeeldingen uit de DESI Legacy Survey en een gedeelde AstroPT-ruggengraat evalueren we elke methode op reconstructiegetrouwheid en voorspelling van fysische eigenschappen. Onze resultaten onthullen afwegingen tussen de benaderingen. De stroomgebaseerde JetFormer bereikt een hogere reconstructiekwaliteit, terwijl VQ-VAE sterke sondeprestaties levert voor fysische eigenschappen van sterrenstelsels. Affine en AIM behouden beter gelokaliseerde morfologische informatie. We vinden dat reconstructie- en representatiekwaliteit ontkoppeld zijn, en geen enkele methode consequent het beste presteert over de hier beschouwde taken. Door onze evaluatie te baseren op onafhankelijk gemeten fysische grootheden, hopen we dat deze studie het potentieel van wetenschappelijke gegevens als basis voor het construeren van interpreteerbare benchmarks voor fundamentmodellen benadrukt.
LLM-gebaseerde agenten voor programmareparatie worden steeds vaker gebouwd op een "generate-run-revise"-paradigma, waarbij iteratief tests worden uitgevoerd om patches te evalueren en verfijnen. Deze uitvoeringsgebaseerde aanpak is de standaardpraktijk geworden in state-of-the-art systemen. Uitvoeringen kunnen echter tijdrovend en duur zijn, terwijl hun impact op deze agenten nog onderbelicht is. In dit artikel voeren we een tweefasige empirische studie uit naar het uitvoeringsgedrag bij LLM-gebaseerde programmareparatie. Om het uitvoeringsgedrag op schaal te karakteriseren, analyseren we eerst 7.745 agentsporen van SWE-bench leaderboard-inzendingen. Ten tweede evalueren we 3.000 end-to-end reparatiepogingen over 200 SWE-bench-instanties en drie agenten (Claude Code, Codex en het opensource OpenCode) onder vier uitvoeringsparadigma's, wat een fijnmazige vergelijking van prestaties en kosten mogelijk maakt. Onze analyse onthult drie belangrijke observaties: (1) Code-uitvoering wordt gebruikt bij alle geanalyseerde agenten en modellen, met gemiddeld 8,8 testuitvoeringen per taak. Het uitvoeringsgedrag varieert aanzienlijk tussen agenten en modellen, met een frequentie variërend van 2 tot 19 per taak, en uitvoeringen in een laat stadium behalen consequent hogere slagingspercentages dan die in een vroeg stadium. (2) Uitvoeringsbeperkingen hebben weinig effect op het reparatiesucces: bij commerciële agenten met SOTA-modellen bedraagt het verschil in oplossingspercentage tussen Verboden en Onbeperkt slechts 1,25 procentpunt en is het niet statistisch significant, terwijl Verboden aanzienlijke token- en wandklokkosten bespaart. (3) Het uitvoeringsvoordeel is geconcentreerd in plaats van uniform. Deze patronen suggereren dat huidige agenten uitvoering zonder onderscheid toepassen, en de kosten ervan dragen op instanties waar het weinig voordeel biedt. Uitvoering moet daarom worden behandeld als een hulpbron met een expliciete kosten-batenafweging, niet als een standaardmogelijkheid.
Omni-modale modellen kunnen video, audio en tekst verwerken, maar uniforme toegang tot meerdere modaliteiten garandeert niet dat een model de juiste aanwijzingen gebruikt. Deze lacune is bijzonder uitgesproken bij sociale video-vraagbeantwoording, waar het antwoord kan afhangen van een gebaar, stemtoon, temporele aanwijzing of een mismatch tussen wat wordt gezegd en wat visueel wordt uitgedrukt. We introduceren CogniRoute, een schema-gestuurd Mixture-of-Experts-raamwerk voor sociale omni-redenering. CogniRoute gebruikt een uitsluitend voor training ingezet cognitief schema dat elk voorbeeld factoriseert op basis van cross-modale relatie, redeneerbehoefte en temporele reikwijdte, en stemt tijdens gesuperviseerde fine-tuning globale routeringssignaturen af op deze structuur. Verder introduceren we routebewust reinforcement learning, dat token-generatie en expert-toewijzing gezamenlijk optimaliseert met behulp van beloningen voor antwoordcorrectheid, modaliteitsconsistente redenering en cognitieve temporele verankering. Ter ondersteuning van training en evaluatie construeren we OmniSocialBench, een diagnostische sociale video-QA-bron met 118K gestructureerde trainingsvoorbeelden, gefundeerde redeneersporen, schemalabels, temporele bewijsspannen en een handmatig geverifieerde evaluatiesplitsing. CogniRoute behaalt een gemiddelde nauwkeurigheid van 59,38% op OmniSocialBench, een verbetering van 15,33 procentpunt ten opzichte van de sterkste propriëtaire basislijn en 26,77 procentpunt ten opzichte van de sterkste open-source omni-basislijn, met de grootste winst op vragen die audiovisuele coördinatie, conflictoplossing en temporeel gefundeerde sociale inferentie vereisen.
Grote taalmodellen (LLMs) kunnen wetenschappelijke software gebruiksvriendelijker maken. Een algemeen model weet echter niet automatisch welke metingen een bepaalde sensor ondersteunt, welke algoritmen in de huidige software zijn geïmplementeerd of welke conclusies gerechtvaardigd zijn op basis van een berekend resultaat. Deze onderscheidingen zijn vooral belangrijk voor laagkanaals elektro-encefalografie (EEG), waar een dunne ruimtelijke dekking en variabele signaalkwaliteit het gemakkelijk maken om plausibele maar niet ondersteunde interpretaties te produceren. We presenteren NeuraDock Agent, een open-source architectuur die een deterministische lokale EEG-engine scheidt van een hardwarebewuste taallaag. De numerieke engine parseert opnames, voert kwaliteitscontrole uit, voert beoordeelde spectrale workflows uit en schrijft machineleesbare artefacten. De LLM ontvangt alleen een compacte, toegestane samenvatting en een versiebeheerd contextpakket. De context beschrijft de zevenkanaals hardware, beoordeelde workflows, resultaatvelden, implementatiegrenzen, wetenschappelijke limieten en referentiegevallen. Ruwe EEG en dichte per-sample arrays blijven lokaal. We evalueren het systeem op drie niveaus. Ten eerste produceerden 12 opnames identieke gestructureerde resultaten over tien numerieke herhalingen, en een volledige Rust/Taak-run produceerde identieke hashes van resultaat, rapport en figuur over drie herhalingen. Ten tweede bevestigden request-capture en failure-injection experimenten de geteste datagrens en het behoud van lokale artefacten bij HTTP-, misvormde uitvoer- en verbindingsfouten. Ten derde testte een boundary-awareness benchmark 36 gewone en vijandige vragen onder vier contextablatie en twee LLMs, wat 288 outputs opleverde. Deze resultaten ondersteunen hardware- en implementatiebewuste verankering als een praktisch mechanisme voor het kalibreren van wat een EEG-agent accepteert, kwalificeert of weigert; ze vestigen geen klinische validiteit of een gevalideerde absolute cognitieve belastingsindex.