Dagelijks geselecteerde AI onderzoekspapers met vertalingen
De capaciteit van een moderne AI-agent hangt niet alleen af van zijn fundamentmodel, maar ook van zijn harnas, dat prompts construeert, toestand beheert, tools aanroept en de uitvoering coördineert. Naarmate modellen, API’s, omgevingen en vereisten evolueren, moet het harnas voortdurend worden aangepast. Voordat een dergelijke wijziging kan worden doorgevoerd, moet een ontwikkelaar of codeeragent alle codelocaties identificeren die het beoogde gedrag implementeren. Dit is moeilijk omdat productieharnassen groot, sterk gekoppeld en gedragsmatig verspreid zijn, terwijl wijzigingsverzoeken beschrijven wat het systeem moet doen en repositories georganiseerd zijn op bestanden en modules. Zoekacties in code, repository-indexering en verwerkingsprocessen met lange contexten vergemakkelijken de inspectie, maar laten het herstellen van deze gedrag-naar-code-toewijzing nog steeds aan handmatig werk over. Gedragslokalisatie vormt daarom een centrale bottleneck in de evolutie van harnassen. Wij introduceren het Harness Handbook, een gedragsgerichte representatie die automatisch wordt gegenereerd uit een harnascodebase via statische analyse en LLM-ondersteunde structurering, waarbij elk gedrag wordt gekoppeld aan de bijbehorende bron. Daarnaast introduceren wij Gedragsgestuurde Progressieve Onthulling (BGPD), die agenten leidt van gedragingen op hoog niveau naar relevante implementatiedetails en kandidaatlokaties verifieert aan de hand van de huidige bron. Bij diverse wijzigingsverzoeken uit twee open-source harnassen verbetert Handbook-ondersteunde planning de gedragslokalisatie en de kwaliteit van bewerkingsplannen, terwijl er minder planner-tokens worden gebruikt, met de grootste winst bij verspreide locaties, zelden uitgevoerde paden en cross-module interacties. Het evolueren van complexe agentische systemen hangt dus niet alleen af van het genereren van bewerkingen, maar ook van het bepalen waar die bewerkingen moeten worden uitgevoerd.
Wij introduceren Boogu-Image-0.1, een open-source unified multimodale begrips- en generatiemodelfamilie, bestaande uit de varianten Base, Turbo, Edit en Edit-Turbo. Het levert concurrerende prestaties op het gebied van hoogwaardige tekst-naar-beeld generatie, snelle inferentie, instructiegebaseerd bewerken en tweetalige (Chinees-Engels) tekstweergave. Closed-source multimodale systemen zoals Nano-Banana-Pro en GPT-Image-2 bereiken sterke prestaties door systeemniveau-integratie in plaats van een enkel model, maar hun interne werkwijzen blijven grotendeels onbekend. In dit werk tonen we aan dat gerichte verbeteringen in modelbegrip, datakwaliteit en trainingspijplijnen, gecombineerd met agentische inferentietijd-schaling, de generatie- en bewerkingsprestaties aanzienlijk kunnen verbeteren, zelfs onder zeer beperkte rekenbudgetten. Uitgebreide evaluaties tonen aan dat Boogu-Image-0.1 consequent andere open-source modellen evenaart of overtreft op standaard benchmarks, en resultaten behaalt die de toonaangevende closed-source systemen benaderen. Opmerkelijk is dat dit wordt bereikt met slechts 208,62 miljoen unieke afbeeldingen. De theoretische trainingskosten van het basismodel bedragen slechts ongeveer 400.000 USD. We delen praktische discussies waarvan we denken dat ze waardevol zijn voor de bredere onderzoeksgemeenschap, en geven gewichten, code en recepten vrij onder Apache 2.0 om het open ecosysteem voor unified multimodale begrip en generatie te bevorderen. Onze code is hier beschikbaar: https://github.com/Boogu-Project/Boogu-Image.
Reinforcement learning met verifieerbare beloningen zonder menselijk geannoteerde data, vaak aangeduid als zero RL, is naar voren gekomen als een krachtig paradigma voor het ontlokken van keten-van-gedachte-redeneringen. Vanwege computationele beperkingen zijn bestaande studies echter grotendeels beperkt tot kleine modellen, waardoor de trainingsdynamiek en emergente vermogens op grote schaal onontgonnen blijven. Om deze grens op een zinvolle manier te verkennen, streven we ernaar om hoogwaardige redeneergedragingen uit het model te ontlokken. We constateren echter dat naïeve opschaling vaak lijdt onder slechte leesbaarheid, tokenredundantie en een gebrek aan adaptieve redeneerdiepte. Om deze uitdagingen aan te pakken, presenteren we een stabiele en efficiënte trainingspijplijn, waarin algoritmische en systeemoptimalisaties zijn geïntegreerd, zoals geknipte importance sampling, correctie van de trainings-inferentieverhouding en gemengde-precisiecontrole. Onze experimenten leveren drie belangrijke bevindingen op die de 'bittere les' van opschaling bevestigen: (1) opschaling naar 1 biljoen parameters verbetert de steekproefefficiëntie en prestatielimieten aanzienlijk; (2) het trainingsproces verloopt opeenvolgend via een initiële ontdekkingsfase gevolgd door een aanscherpingsfase; en (3) het model ontwikkelt spontaan geavanceerde cognitieve gedragingen, waaronder antropomorfisme, gestructureerde opmaak, zelfverificatie, parallel redeneren en contextangst, waardoor handgemaakte heuristieken overbodig worden. Op zeven wiskundige benchmarks bereikt Ring-2.5-1T-Zero concurrerende prestaties. Daarnaast stellen we, om de CoT-kwaliteit verder te beoordelen dan alleen de juistheid van het eindantwoord, een gestructureerd evaluatiekader voor over drie dimensies: begrijpelijkheid, reproduceerbaarheid en efficiëntie, waarbij ons model duidelijke voordelen laat zien in het produceren van gestructureerde en beknopte redeneersporen. Door onze waargenomen emergente verschijnselen te delen, hopen we de onderzoeksgemeenschap diepere inzichten te verschaffen in opschalingsgedrag, met name op de schaal van 1 biljoen.
OpenClaw is uitgegroeid tot een toonaangevend agentframework voor de automatisering van complexe taken, maar kent onvoldoende ondersteuning voor cross-platform GUI-interactie en een goed opgebouwd zelfevolutiemechanisme. Deze tekortkomingen beperken de aanpassing aan diverse apparaatecosystemen en voorkomen prestatieverbeteringen door continu leren van uitvoeringservaring. Om deze problemen op te lossen, stellen we het Know Deeply, Act Perfectly-paradigma voor persoonlijke assistenten voor, dat stelt dat opgebouwde gebruikersinteractie- en taakuitvoeringservaring de uitvoeringsnauwkeurigheid en -efficiëntie direct verbetert, waarbij cognitief begrip en operationele uitvoering worden verenigd. Op basis van dit paradigma introduceren we KnowAct-GUIClaw, een nieuw Know-Route-Act-Reflect-framework dat is ontworpen om de GUI-manipulatietekorten van OpenClaw aan te pakken en de beperkingen op het gebied van cross-platform en recursieve zelfverbetering te doorbreken. Ten eerste maakt de host-agent gebruik van opgebouwde interactie-ervaring en taakrelevante kennis voor de ontleding en toewijzing van langetermijntaken (Know). Ten tweede, een inplugbare GUI-subagent met een ervaringstoewijsbaar geheugensysteem (Know) en een zelfevoluerende vaardigheidsbibliotheek (Act), waardoor naadloze cross-platformmigratie en snelle padintegratie mogelijk worden. Met name dit framework slaat continu gebruikersprofielen en feedback op om de nauwkeurigheid van taakontleding en toolaanroepen te verbeteren. Uitgebreide experimenten op Android, iOS, HarmonyOS en Windows tonen aan dat KnowAct-GUIClaw superieure efficiëntie, nauwkeurigheid en cross-platform aanpasbaarheid bereikt. Met name de GUIClaw met opensource Kimi-2.6-modellen behaalt de beste prestaties (64,1%) op de long-horizon MobileWorld-benchmark, waarbij alle agentische frameworks en closed-source agentische modellen, zoals Seed-2.0-Pro en GPT-5.5, worden verslagen. Bovendien zijn de kennisrijke geheugen- en uitvoeringsvaardigheden die door ons framework worden ondersteund, overdraagbaar naar diverse basismodellen, met een verbetering van 8,5% met Kimi-2.6.
We presenteren OvisOCR2, een documentparsemodel van 0,8B. OvisOCR2 is ontworpen als een end-to-end parser: gegeven een afbeelding van een documentpagina genereert het een Markdown-weergave in natuurlijke leesvolgorde, die tekst, formules, tabellen en visuele gebieden omvat. We bouwen een data-engine die gefilterde echte documentannotaties combineert met synthetische pagina's waarvan de weergegeven afbeeldingen en Markdown-doelen zijn afgeleid van dezelfde HTML-bron. Het trainingsrecept omvat supervised fine-tuning, reinforcement learning op een 4B-tak met een multi-component beloningsontwerp, on-policy distillatie naar het 0,8B-model, en modelfusie. Op OmniDocBench v1.6 behaalt OvisOCR2 een state-of-the-art overall score van 96,58, waarmee een end-to-end model bovenaan deze ranglijst staat die voorheen werd gedomineerd door pijplijnmethoden, wat het potentieel van end-to-end documentparsing benadrukt. Op PureDocBench behaalt OvisOCR2 ook de hoogste Avg3-score van 75,06. Naast deze twee openbare benchmarks evalueren we OvisOCR2 op een interne benchmark die is ontworpen om een bredere reeks long-tail en uitdagende scenario's te dekken. OvisOCR2 behaalt de beste algehele prestaties onder de vergeleken methoden, wat verder bewijs levert van de generalisatie en robuustheid. OvisOCR2 is beschikbaar op https://huggingface.co/ATH-MaaS/OvisOCR2.
Beeldbeveiligingssystemen (guardrails) worden doorgaans getraind en geëvalueerd onder een vast veiligheidsbeleid, waarbij veiligheid impliciet wordt behandeld als een intrinsieke eigenschap van een afbeelding. In de praktijk is dit anders: dezelfde afbeelding kan in het ene product worden toegestaan, in een ander worden beperkt, en opnieuw worden geweigerd wanneer een beleidsgrens verandert. We bestuderen beleidsadaptieve beeldbeveiliging, waarbij een model moet beslissen of een afbeelding het op dat moment geldende beleid schendt en moet generaliseren naar niet eerder geziene beleidsdefinities. We introduceren PolicyShiftBench, een uitgebreide benchmark met 2.000 beleidsonderscheidende instanties over 265 afbeeldingen, waarbij elke afbeelding gemiddeld wordt gecombineerd met 7,55 beleidsgeconditioneerde prompts om te testen of modellen zich aanpassen aan het actieve beleid in plaats van te vertrouwen op veiligheidsprioriteiten op afbeeldingsniveau. Vervolgens stellen we PolicyShiftGuard voor, een compacte beleidsgeconditioneerde guardrail getraind met een tweefasige trainingsmethode die Randomized Policy SFT (RP-SFT) combineert met Boundary-Pair Policy Adaptation (BP-Adapt). BP-Adapt traint overeenkomende prompts voor dezelfde afbeelding en risicocategorie met behulp van standaard labelsupervisie en een paarsgewijs vergelijkingsverlies dat blokkerende beleidsregels scheidt van goedkeurende beleidsregels. Experimenten tonen aan dat bestaande VLMs en gespecialiseerde guardrails kwetsbaar blijven bij beleidsverschuivingen, terwijl PolicyShiftGuard de beleidsgevoelige prestaties aanzienlijk verbetert. Het 7B-model behaalt een state-of-the-art prestatie van 76,9 gemiddelde F1 en 72,1 gemiddelde PSS op PolicyShiftBench, presteert goed op UnSafeBench en SafeEditBench, en verbetert de afweging tussen latentie en prestaties met een beknopt uitvoerformaat. Ablatiestudies bevestigen dat overeenkomende goedkeurings-/blokkeringsgrens paren essentieel zijn voor stabiele beleidsaanpassing.
Huidige visuele generatiemodellen zijn in staat om hoogwaardige inhoud te produceren, maar missen een coherente perceptie van de ruimtelijke structuur. Bestaande generatieve methoden voor nieuwe aanzichtsynthese introduceren doorgaans expliciete geometrische voorkennis, wat ruimtelijke consistentie afdwingt, maar inherent de generalisatie bij grote aanzichtsveranderingen beperkt. Daarentegen geven recente interactieve generatieve methoden de voorkeur aan impliciete scenemodellering, wat meer flexibiliteit biedt ten koste van nauwkeurige cameracontrole en geometrische consistentie. In dit artikel presenteren wij MetaView, een diffusie-gebaseerd monocular nieuw aanzichtsyntheseraamwerk dat rendering mogelijk maakt onder grote aanzichtsveranderingen vanuit één enkele afbeelding. Ons belangrijkste inzicht is om impliciete geometriemodellering te combineren met minimale maar essentiële expliciete 3D-aanwijzingen: we integreren impliciete geometrische voorkennis van een feed-forward geometriewaarnemingsnetwerk om structuur te reguleren zonder restrictieve reconstructiepijplijnen op te leggen, terwijl we metrische diepte gebruiken om de generatie te verankeren aan een metrische schaal. Dit ontwerp stelt MetaView in staat om zowel geometrische consistentie als nauwkeurige beheersbaarheid te bereiken. Uitgebreide experimenten tonen aan dat MetaView bij uitdagende monocular grote aanzichtsveranderingen aanzienlijk beter presteert dan bestaande methoden en superieure generalisatie vertoont. Onze code is openbaar beschikbaar op https://github.com/KlingAIResearch/MetaView.
World Action Models (WAM's) verbeteren het aanleren van robotbeleid door simultaan acties en toekomstige visuele observaties te modelleren, waarbij toekomstige scène-evolutie wordt gebruikt als dichte supervisie voor fysiek gefundeerde actiegeneratie. Echter, een veelvoorkomend ontwerp in bestaande WAM's is om expliciet toekomstige video's te genereren tijdens inferentie, wat aanzienlijke computationele overhead met zich meebrengt en real-time closed-loop implementatie belemmert. GigaWorld-Policy pakt dit probleem aan met een actiegecentreerde formulering, waarbij toekomstige visuele dynamica wordt gebruikt tijdens training terwijl alleen actie-decodering wordt gebruikt tijdens inferentie. Voortbouwend op dit raamwerk presenteren we GigaWorld-Policy-0.5, een verbeterde actiegecentreerde WAM ontworpen voor efficiëntere robotbesturing. Tijdens voorbereidende training hanteert GigaWorld-Policy-0.5 een gemengde strategie van Action-Conditioned World Modeling (AC-WM) en WAM-training. Dit versterkt de koppeling tussen visuele dynamica en robotacties en verbetert de overdraagbaarheid van actierepresentaties voor downstream beleidsleren. Voor efficiënte inferentie introduceert GigaWorld-Policy-0.5 een Mixture-of-Transformers-architectuur die visuele dynamica-modellering en actiegeneratie scheidt in gespecialiseerde experts, waardoor actieve berekening tijdens alleen-actie-inferentie wordt verminderd en een inferentielatentie van 85 ms wordt bereikt op een lokale RTX 4090-opstelling. Daarnaast gebruiken we een agentgebaseerde AutoResearch-pijplijn om systematisch trainingsconfiguraties te doorzoeken, wat een efficiëntere identificatie van optimale experimentele opstellingen mogelijk maakt, terwijl de tijd en handmatige interventie die nodig zijn voor hyperparameteroptimalisatie worden verminderd. Experimenten en ablatiestudies tonen aan dat GigaWorld-Policy-0.5 de trainingsvoordelen van toekomstige visuele dynamica behoudt terwijl de inferentie-efficiëntie voor robotbesturing wordt verbeterd.
Vision Transformers (ViT's) staan erom bekend dat ze patch-token uitschieters met hoge norm vertonen, die de kwaliteit van feature maps aantasten; een probleem dat effectief wordt verholpen door register tokens. Nu diffusiemodellen steeds vaker transformerarchitecturen overnemen en zich richten op training in de pixelruimte, komen ze qua vorm steeds dichter bij ViT's te staan, wat de vraag oproept of register tokens ook nuttig zijn voor Diffusion Transformers (DiT's). In dit werk tonen we aan dat DiT's op een belangrijk punt verschillen van ViT's: ze vertonen geen patch-token uitschieters, maar hebben toch baat bij registers. Interessant is dat registers effectiever zijn in pixelruimte-DiT's dan in latente-ruimte-DiT's. Door tussentijdse representaties te analyseren, ontdekken we dat register tokens schonere feature maps opleveren bij hoge ruisniveaus, wat kan bijdragen aan hun effectiviteit bij generatie in de pixelruimte. Verder zien we dat recente pixelruimte-DiT-architecturen impliciet registerachtige mechanismen bevatten, wat mogelijk deels hun sterke empirische prestaties verklaart. Gemotiveerd door deze observaties stellen we Register Guidance voor, een techniek die de bijdrage van register tokens versterkt, verantwoordelijk voor het verbeteren van visuele structuur en samenhang.
Zelfverbeterende autonome agents evolueren van onderzoeksprototypes naar operationele systemen. Het primaire doel is controleerbare evolutie, of aanpassing, op basis van ervaring met minimale of zelfs geen menselijke input. Deze survey plaatst moderne zelfverbeterende agents als adaptieve systemen die ervaring omzetten in cumulatieve capaciteitswinsten. We bieden een systeemniveau-framework dat een moderne agent voorstelt als een configuratie die een fundamentmodel koppelt aan een operationele steiger van prompts, geheugen, tools en besturingslogica. Binnen dit framework wordt zelfverbetering geformaliseerd als een zelfgeïnduceerde update-operator die updates van modelparameters of steigercomponenten verkrijgt en doorvoert. We ordenen eerder werk per updatetype en per signalen die verandering aandrijven, bespreken vervolgens toepassingen en evaluatie, en sluiten af met open problemen en toekomstige richtingen. Voor het gemak houden we technische updates bij op https://github.com/selfimproving-agent/awesome-Self-Improving-Agents.
Hoewel recente vooruitgang in 3D-generatie indrukwekkende visuele synthese mogelijk heeft gemaakt, vertrouwen bestaande methoden vaak op 2D-diffusiesupervisie zonder expliciete mechanismen voor geometrische consistentie, wat leidt tot ruimtelijke hallucinaties zoals gedupliceerde structuren en niet-uitgelijnde geometrie. Deze problemen worden ernstiger bij 4D-generatie, waar het handhaven van consistentie over gezichtspunten en temporele evolutie extra uitdagingen met zich meebrengt, zoals jitter, identiteitsflikkering en structurele drift. We presenteren Hallo4D, een uniform en model-agnostisch raamwerk voor het verminderen van ruimtelijk-temporele hallucinaties bij 3D- en 4D-inhoudsgeneratie. Hallo4D introduceert een generatie-detectie-correctieparadigma dat gebruikmaakt van grote multimodale taalmodellen (LMM's) om ruimtelijke en temporele inconsistenties uit multi-view- en multi-frame-renderingen te identificeren en samen te vatten. Deze inzichten sturen een consensusgedreven optimalisatie van consistentie in de beeldruimte, waarbij een op LMM gebaseerde selector kandidaatcorrecties evalueert via multi-modelstemming, zonder dat hertraining of architecturale aanpassingen nodig zijn. Om de temporele consistentie en optimalisatie-efficiëntie verder te verbeteren, bevat Hallo4D bewegingsbewuste keyframe-sampling, LMM-gestuurde initialisatie en uiterlijkuitlijning. We introduceren daarnaast belichtingsbewuste optimalisatie en zichtbaarheidspruning om de robuustheid onder uitdagende gezichtspunten te vergroten. Uitgebreide experimenten tonen aan dat Hallo4D consequent beter presteert dan sterke baselines in diverse 3D- en 4D-generatie-instellingen, en een schaalbare en generaliseerbare oplossing biedt voor consistentiebewuste inhoudsgeneratie.
Gestructureerd snoeien is een hardwarevriendelijke manier om grote taalmodellen (LLM's) te comprimeren, maar het wordt voornamelijk gevalideerd op meerkeuzetaken voor herkenning, terwijl dezelfde gecomprimeerde controlepuntmodellen kunnen instorten bij de vrije generatie die implementatie daadwerkelijk vereist. Twee observaties verklaren deze kloof. Ten eerste verdwijnt greedy pass@1 vrijwel volledig na compressie, maar herstelt pass@k aanzienlijk onder herhaalde steekproefname: nuttige generaties worden gedegradeerd, niet gewist. Ten tweede faalt het herstelbare regime voornamelijk door herhaling van achtervoegsels. Herstel zou daarom moeten trainen op de eigen on-policy toestanden van het gecomprimeerde model met dichte supervisie op tokenniveau, wat On-Policy Distillation (OPD) biedt door het model vóór compressie als een bevroren leraar te hergebruiken. Lange on-policy rollouts besteden echter het vroege herstelbudget aan informatiearme repetitieve achtervoegsels, waardoor de verliesafname wordt vertraagd. Om deze verspilling te beperken stellen we \shortopd voor, een kort-naar-lang OPD-schema dat door de leraar bevestigde repetitieve achtervoegsels detecteert, het overlevende voorvoegsel beschouwt als de effectieve lengte van elke rollout, en toekomstige rolloutbudgetten toewijst aan de effectieve lengtes die het beleid momenteel kan gebruiken. Voor wiskunde, code en open-eindgeneratie verhoogt \shortopd de score van het gecomprimeerde model tot ongeveer 9× de niet-herstelde waarde en 1,6–4,4× de standaard herstelrecepten (SFT zonder KD, KD en SeqKD), en het benadert een vaste rollout horizon van 8192 tokens binnen twee punten met een kwart van de trainingstijd (8,5 vs. 35,9 uur) en 71% minder rollouttokens. We hopen dat dit recept helpt om gestructureerd snoeien verder te brengen dan marginale winst op perplexiteit en meerkeuzebenchmarks, een stap dichter bij implementatieklare generatiekwaliteit.
Naarmate Grote Taalmodellen (LLM's) evolueren tot autonome agenten, wordt de behoefte aan een uniforme evaluatie-infrastructuur cruciaal. Huidige evaluatiepijplijnen blijven echter sterk gefragmenteerd en sterk gekoppeld, wat reproduceerbaarheid belemmert en redundante engineering veroorzaakt. Om dit aan te pakken introduceren we AgentCompass, een open-source, lichtgewicht en uitbreidbare infrastructuur voor het evalueren van op LLM's gebaseerde agenten. AgentCompass organiseert het evaluatieproces rond drie onafhankelijke componenten, namelijk Benchmark, Harness en Omgeving, waardoor flexibele configuraties mogelijk zijn zonder dat complexe uitvoeringslogica opnieuw hoeft te worden geïmplementeerd. Bovendien beschikt het over een fouttolerante asynchrone runtime en uitgebreide trajectanalyse-tools om genuanceerde faalwijzen zoals beloningsmanipulatie transparant te diagnosticeren. Met native ondersteuning voor meer dan 20 benchmarks in vijf capaciteitsdimensies biedt AgentCompass de gemeenschap een schaalbare en reproduceerbare infrastructuur voor het bevorderen van agentonderzoek.
Wanneer moet een intelligente assistent uit zichzelf spreken zonder dat erom gevraagd wordt? Continue egocentrische video biedt een rijke, evoluerende context die een nieuwe vorm van assistentie mogelijk maakt: een die proactief is in plaats van louter reactief. Toch wachten bestaande benaderingen passief op gebruikersvragen of behandelen ze elke gedetecteerde gebeurtenis alsof deze een reactie vereist, zonder rekening te houden met de geschiedenis van de gebruiker, diens huidige activiteit, of assistentie daadwerkelijk welkom zou zijn. Wij herformuleren proactieve assistentie als een contextafhankelijk beslissingsprobleem: de agent moet niet alleen waarnemen wat er gebeurt, maar ook redeneren over de opgebouwde temporele context om te bepalen wanneer en of ingrijpen nodig is. Hiertoe presenteren we Vinci2, een proactief egocentrisch assistentiesysteem dat de apparaatgebonden assistent Vinci van reactieve respons naar proactiviteit brengt. Aan de evaluatiekant presenteren we EgoServe, de eerste grootschalige benchmark voor proactieve assistentie in continue egocentrische video. EgoServe omvat meer dan 3.000 service-instanties, georganiseerd langs 4 temporele geheugenhorizons, variërend van onmiddellijke veiligheidsmeldingen tot langdurige gewoontecoaching, verdeeld over 10 servicecategorieën. Aan de modelleerkant stellen we EgoMemo voor, een trainingsvrije, geheugenversterkte agent die drie complementaire geheugenrepresentaties onderhoudt: meerschalige temporele samenvattingen, een semantische kennisgraaf en archieven van visuele inbeddingen. Bij elke tijdstap voert EgoMemo ophaalversterkte redenering uit om te bepalen of assistentie gerechtvaardigd is en, zo ja, produceert het contextueel gefundeerde reacties. Experimenten tonen aan dat EgoMemo sterke basislijnen vestigt op EgoServe, terwijl het concurrerend blijft op bestaande egocentrische benchmarks. Onze benchmark en code zijn publiekelijk beschikbaar op https://sitonggong.github.io/EgoServe-page/{Vinci2}.
Foutattributie voor op LLM gebaseerde agentische systemen, d.w.z. het identificeren welke stappen in een fouttraject de taak hebben doen mislukken, is cruciaal voor het debuggen en verbeteren van deze systemen. Bestaande benaderingen zijn ofwel afhankelijk van op prompting gebaseerde pijplijnen, die rekenintensief zijn, of vereisen post-training op fouttrajecten met stapsgewijze foutannotaties, die kostbaar zijn om te verzamelen en moeilijk te schalen. Wij stellen dat een praktisch foutattributiemodel lichtgewicht moet zijn en trainbaar zonder stapsgewijze supervisie op foutdata. Daartoe behandelen we ongesuperviseerde foutattributie, d.w.z. uitsluitend trainen op succesvolle trajecten en tijdens inferentie foutstappen identificeren in een gegeven fouttraject. We stellen OAT voor, dat dit probleem formuleert als eenklasse-leren met neurale gecontroleerde differentiaalvergelijkingen, waarbij het dynamische patroon van succesvolle trajecten in de latente ruimte wordt gemodelleerd. Tijdens inferentie krijgt elke stap in een fouttraject een anomaliescore op basis van de afwijking van de dynamiek die op succesvolle trajecten is geleerd, die vervolgens wordt gebruikt om een verzameling foutstappen te vormen. Experimenten met training op slechts 100 succesvolle trajecten tonen aan dat OAT 200 tot 5000 keer sneller is dan op prompting gebaseerde baselines, en tegelijkertijd consistent beter presteert in zowel binnen-domein- als buiten-distributiedatasets, met respectievelijk +20% en +7% F1-scores. Dit laat zien dat OAT een veelbelovende en efficiënte richting is voor het diagnosticeren van fouten in agentische systemen.
Discrete denoising diffusiemodellen (DDM’s) zijn recentelijk naar voren gekomen als een overtuigend alternatief voor autoregressieve (AR) modellering voor discrete data, met mogelijkheden voor parallelle generatie en iteratieve globale verfijning. In tegenstelling tot continue diffusie, waar de toestandsruimte vastligt, worden DDM’s fundamenteel bepaald door de wijze waarop de discrete toestandsruimte wordt geconstrueerd: het tokenisatieschema, de vocabulariumtopologie en domeinspecifieke structurele alfabetten. Dit werk introduceert een verenigd conceptueel kader dat discrete diffusiemodellen beschouwt door de lens van de constructie van de onderliggende discrete toestandsruimte. Binnen dit kader blijken bestaande formuleringen, waaronder op overgangsmatrix, maskerende/absorberende toestand en score/ratio gebaseerde benaderingen, verschillende invullingen te zijn van een gemeenschappelijke ontwerpruimte. Het kader legt verder gangbare ontwerpafwegingen bloot op het gebied van trainingsdoelstellingen, inferentie-algoritmen, schaalgedrag, systeemoptimalisatie en evaluatieprotocollen, wat wijst op verschillende veelbelovende richtingen voor toekomstig onderzoek.
Grootse taalmodellen (LLM)-agenten zijn verder gegaan dan het genereren van antwoorden en voeren nu meerstapstaken uit door tools aan te roepen, de resultaten te observeren en iteratief de volgende actie te bepalen. De meeste agentsystemen draaien op desktops of servers, die toolgebruik en taakautomatisering ondersteunen. Mobiele apparaten vormen ook een belangrijke agentomgeving, omdat ze breed toegankelijk zijn en gebruikersgegevens, sensoren en dagelijkse toepassingen bevatten. Bestaande mobiele agenten bedienen smartphones voornamelijk via grafische gebruikersinterface (GUI)-acties zoals tikken, vegen en typen, wat vaak leidt tot lange, interface-afhankelijke reeksen, geen directe toegang biedt tot apparaatmogelijkheden en de uitvoeringsgrenzen moeilijk definieerbaar maakt. Wij presenteren PalmClaw, een open-source agentframework dat native op mobiele telefoons draait en de sessies, het geheugen, de vaardigheden, de tools en de agentlus rechtstreeks op het apparaat beheert. PalmClaw stelt apparaatmogelijkheden beschikbaar als apparaat-tools met expliciete argumenten, gestructureerde resultaten en helder gedefinieerde uitvoeringsgrenzen. Dit ontwerp stelt agenten in staat om mobiele mogelijkheden direct te gebruiken, terwijl elke actie expliciet en beheersbaar blijft. Experimenten tonen een relatieve verbetering van 11,5% in taaksucces en een vermindering van 94,9% in voltooiingstijd ten opzichte van de sterkste basislijn, met een lagere opstellingslast en tracés die illustreren hoe uitvoeringsgrenzen worden toegepast. Code is beschikbaar op https://github.com/ModalityDance/PalmClaw.
De optimalisatie van agenten met een lange horizon maakt steeds vaker gebruik van reflectiegebaseerde mechanismen, waarbij een groot taalmodel (LLM) fungeert als optimizer om het falen van agenten te diagnosticeren en het agentbeleid te verbeteren. Echter, echte uitvoeringstracés zijn moeilijk direct bruikbaar voor optimalisatie: grote verzamelingen tracés zijn vaak redundant en heterogeen, waardoor optimalisatie inefficiënt wordt en vatbaar voor overfitting op laagwaardige fouten. Tegelijkertijd bevat elk individueel traject ook veel irrelevante stappen, terwijl naïeve contextreductiemethoden zoals truncatie of sliding windows causaal belangrijk bewijs kunnen weggooien en misleidende optimalisatiesignalen kunnen produceren. Om dit dilemma op te lossen introduceren wij STRACE (Structural TRajectory Analysis and Causal Extraction, Structurele Trajectanalyse en Causale Extractie), een raamwerk dat optimalisatiecontexten met een hoge signaal-ruisverhouding construeert voor preciezere en effectievere optimalisatie. Op batchniveau extraheert STRACE faalpatronen om overbodige tracés te filteren en representatieve fouten te behouden; binnen elk geselecteerd traject voert het causale lokalisatie uit over een tekstuele afhankelijkheidsgraaf om niet-causale stappen te verwijderen en de ware root-cause module voor optimalisatie te identificeren. Empirische resultaten tonen aan dat STRACE significant beter presteert dan standaard contextfilteringsbaselines. Met name bij een uitdagende formele verificatietaak (VeruSAGE-Bench) optimaliseert het met succes door menselijke experts ontworpen agenten, wat leidt tot een verbetering van de slagingskans met een factor 1,4 (van 42,5% naar 58,5%). De code is beschikbaar op https://github.com/moomight/STRACE .
Lengte-bestraffend reinforcement learning kan de chain-of-thought-redenering verkorten terwijl het een invloed verbergt die het antwoord van het model stuurt. In onze experimenten voorkomt training met lengtestraffen niet dat misleidende hints modellen sturen, ook al noemen de chain-of-thoughts van de modellen de hint veel minder vaak. Een token-accuraatheidevaluatie zou deze runs als succesvol beschouwen omdat ze minder redeneertokens gebruiken met weinig verlies aan nauwkeurigheid; het zou missen of het resterende spoor nog laat zien wat het antwoord stuurde. We traineren Qwen3-4B en Qwen3-14B-varianten met verschillende doel-ketenlengtes, en evalueren ze vervolgens met vertekenende-hintinterventies op apart gehouden MMLU-Pro-R en vier transferbenchmarks. Compressie vermindert redeneertokens scherp, behoudt het grootste deel van de meerkeuze-nauwkeurigheid en laat de hintinvloed dicht bij de baseline. Bij het sterkste doel daalt de ondergrensgetrouwheid tot 63,1% van de baseline voor Qwen3-14B en 69,4% voor Qwen3-4B; het ruwe percentage waarmee een monitor hintgebruik opmerkt, daalt van 69% naar 49% en van 60% naar 48%. Om lengte van inhoud te scheiden, verwijderen we willekeurig zinnen uit ongecomprimeerde baseline-ketens totdat de resterende tekst overeenkomt met de gecomprimeerde lengte. Zelfs na deze lengte-aanpassing onthullen gecomprimeerde ketens de hint 7-35 procentpunten minder vaak dan baseline-ketens die we willekeurig verkorten, voor beide Qwen3-groottes en alle vijf evaluatieverdelingen. Compressie doet daarom meer dan redenering verkorten; het verwijdert bij voorkeur de aanwijzingen die een monitor nodig heeft om te zien wat het antwoord beïnvloedde. Samen onthullen deze resultaten een compressie-monitorbaarheidsgrens waarbij goedkopere redenering antwoorden kan behouden terwijl het de invloeden erachter moeilijker te detecteren maakt.
AI-pentestingagenten worden steeds geloofwaardiger als aanvallende beveiligingssystemen, maar de huidige benchmarks bieden nog steeds beperkte richtlijnen over welke het beste presteren in realistische doelwitten. Bestaande evaluatieprotocollen beoordelen en optimaliseren vooraf gedefinieerde doelen zoals capture-the-flag, externe code-uitvoering, exploitreproductie of trajectovereenkomst in vereenvoudigde of beperkte omgevingen. Deze hulpmiddelen zijn waardevol voor het meten van begrensde capaciteiten, maar vangen niet adequaat de complexiteit, open exploratie en strategische besluitvorming die vereist zijn in realistische pentesting. In dit artikel presenteren we een praktisch evaluatieprotocol dat de beoordeling verschuift van taakvoltooiing naar gevalideerde kwetsbaarheidsontdekking, waardoor evaluatie mogelijk wordt in voldoende complexe doelwitten die meerdere aanvalsoppervlakken en kwetsbaarheidsklassen omvatten. Het protocol combineert gestructureerde grondwaarheid met LLM-gebaseerde semantische matching om kwetsbaarheden te identificeren, bipartiete resolutie om bevindingen te scoren onder realistische ambiguïteit, continu onderhoud van grondwaarheid, herhaalde en cumulatieve evaluatie van stochastische agenten, efficiëntiemetrics en een gereduceerde suiteselectie voor duurzame experimentatie. Dit protocol verlegt de stand van de techniek door een realistischere, operationeel informatievere vergelijking van AI-pentestingagenten mogelijk te maken. Om reproduceerbaarheid te waarborgen, publiceren we ook door experts geannoteerde grondwaarheid en code voor het voorgestelde evaluatieprotocol: https://github.com/ethiack/ethibench.
Autonome UAV-systemen maken steeds vaker gebruik van multimodale grote taalmodellen (MLLM's) om te opereren in complexe, realistische omgevingen. Dergelijke belichaamde scenario's vereisen niet alleen begrip van de omringende ruimte, maar ook het onderhouden van een coherente representatie van de agent zelf. Bestaande UAV-gerichte benaderingen en benchmarks blijven echter grotendeels omgevingsgericht, met een primaire focus op taken voor ruimtelijk begrip, waarbij het zelfbewustzijn van de agent impliciet blijft. Om deze lacune aan te pakken, introduceren we SIS-Bench, een benchmark voor het evalueren van belichaamde ruimtelijke intelligentie in UAV-scenario's onder een uniforme zelf-in-ruimte-formulering. SIS-Bench organiseert evaluatie langs twee complementaire dimensies, ruimte en zelf, en een driedelige hiërarchie van perceptie, geheugen en redenering. Het bevat 4.856 vraag-antwoordparen verdeeld over 13 taken, afgeleid van 1.646 realistische UAV-video's via een taakconditioneringspijplijn met deskundigenvalidatie. Uitgebreide evaluaties tonen aan dat huidige MLLM's fundamentele beperkingen vertonen in het modelleren van dynamische en agentgerichte processen. In het bijzonder zien we een duidelijke onbalans tussen ruimtelijke cognitie en zelfbewustzijn, evenals een progressieve afname in prestaties over cognitieve niveaus heen. Gemotiveerd door deze bevindingen verkennen we verder een bewegingsbewuste representatie die zelfgerelateerde dynamiek integreert via optische flow en visuele kenmerkfusie. Experimentele resultaten laten zien dat het modelleren van agentbeweging consequent de perceptie- en geheugenprestaties verbetert, niet alleen in ruimtelijke cognitie maar ook in zelfbewustzijn, en generaliseert naar stroomafwaartse UAV-besluitvormingstaken. Onze resultaten benadrukken het belang van zelfbewustzijn voor het bevorderen van belichaamde ruimtelijke intelligentie, en bieden zowel een nieuwe benchmark als empirisch bewijs voor bewegingsbewuste zelf-in-ruimte-modellering.
Interactieve simulatoren zijn krachtige hulpmiddelen geworden voor het trainen van belichaamde agenten en het genereren van synthetische visuele gegevens, maar bestaande fotorealistische simulatoren lijden onder een beperkte algemeenheid, programmeerbaarheid en weergavesnelheid. Wij adresseren deze beperkingen door de introductie van SPEAR: een simulator voor fotorealistisch belichaamd AI-onderzoek. In de kern is SPEAR een Python-bibliotheek die kan verbinden met, en programmatisch kan aansturen, elke Unreal Engine (UE)-toepassing via een modulaire plugin-architectuur. SPEAR stelt meer dan 14.000 unieke UE-functies bloot aan Python, wat een orde van grootte toename in programmeerbare functionaliteit vertegenwoordigt ten opzichte van bestaande UE-gebaseerde simulatoren. Bovendien kan een enkele SPEAR-instantie 1920x1080 fotorealistische beauty-afbeeldingen direct renderen in de NumPy-array van een gebruiker met 73 frames per seconde – een orde van grootte sneller dan bestaande UE-plugins – terwijl het ook ground truth-beeldmodaliteiten biedt die niet beschikbaar zijn in enige bestaande UE-gebaseerde simulator (bijv. een niet-diffuse intrinsieke beelddecompositie, materiaal-ID's en fysiek gebaseerde schaduwparameters). Ten slotte introduceert SPEAR een expressief programmeermodel op hoog niveau dat gebruikers in staat stelt om complexe grafieken van UE-werkzaamheden te specificeren met willekeurige data-afhankelijkheden tussen werkitems, en deze grafieken deterministisch uit te voeren binnen één enkel UE-frame. We demonstreren het nut van SPEAR via een diverse verzameling voorbeeldtoepassingen: het aansturen van meerdere belichaamde agenten met verschillende actieruimten (bijv. mensen, auto's en robots) in verschillende in-the-wild UE-projecten; het renderen van fotorealistische stadsbrede omgevingen; het manipuleren van UE's procedurele contentgeneratiesystemen; het renderen van gesynchroniseerde multi-view afbeeldingen van gedetailleerde menselijke gezichten; het coördineren van een interactieve co-simulatie met de MuJoCo-fysicasimulator; en het bewerken van scènes met natuurlijke taal via een AI-codeerassistent.
We present AffectFlow-DINO, a multi-task learning system for the 11th ABAW challenge that extends a standard deterministic architecture with a conditional rectified-flow head to model the inherent ambiguity of in-the-wild facial behavior. Instead of predicting a single affect estimate, the model learns a conditional generative distribution, enabling uncertainty-aware one-to-many predictions through Monte Carlo sampling. The system jointly estimates continuous valence-arousal, classifies eight facial expressions, and detects twelve Action Units from static face images. Built on a frozen DINOv3 ViT-S/16 backbone, extensive ablation studies show that rectified-flow decoding consistently improves deterministic prediction, particularly for valence-arousal estimation (CCC-V +0.058). We further show that post-hoc threshold calibration effectively recovers performance on severely imbalanced rare classes (e.g., Fear: 3.8% rightarrow 33.1%) without retraining. Combined with backbone fine-tuning and flow retuning, the final model achieves P_{MTL=1.177}, substantially outperforming the official challenge baseline of P_{MTL}=0.45.
Talen met een rijke statische semantiek, zoals Rust, bieden sterkere garanties voor AI-gegenereerde code, maar hun striktheid maakt generatie moeilijker. Standaardcompilers kunnen na de generatie nuttige feedback bieden, maar begeleiden tussenliggende generatiestappen niet, zoals die tijdens autoregressieve LLM-decodering. Beperkte decodering (constrained decoding) grijpt eerder in door ongeldige tokens tijdens het samplen te verwerpen, maar vereist white-box modeltoegang en kostbare herimplementatie voor semantische beperkingen. Wij introduceren generatieve compilatie, de eerste aanpak om compilerfeedback te verkrijgen over partiële programma's tijdens de generatie. Het centrale technische middel is een sealor: een lichtgewicht, grotendeels syntaxis-geleide transformatie die partiële programma's omzet in complete programma's die standaardcompilers kunnen diagnosticeren. Het is ontworpen zodat partiële programma's die kunnen worden voltooid nooit worden afgewezen, terwijl voldoende codecontext behouden blijft om echte doodlopende wegen vroegtijdig te onderscheppen. We construeren een dergelijke sealor voor een op Rust lijkende calculus en bewijzen dat deze aan deze eigenschappen voldoet, allemaal gemechaniseerd in Lean. We breiden dit uit tot de eerste controleur voor partiële programma's voor echt Rust. We evalueren onze methode op uitdagende Rust-codeertaken op repository-niveau, zowel voor frontier black-box als open-weight modellen. We tonen aan dat generatieve compilatie het aantal niet-compilerende outputs vermindert en de functionele correctheid verbetert in vergelijking met standaard post-generatie feedback. Dit doet het door een breed scala aan fouten dicht bij hun bron en vroeg tijdens de generatie te detecteren, waardoor foutcascades worden verminderd en gerichte diagnostiek mogelijk wordt. In bredere zin is generatieve compilatie een stap in de richting van het maken van compilers tot eersteklas burgers van AI-ondersteund programmeren die actief zijn tijdens de generatie, in plaats van een aparte post-generatie controle.