Dagelijks geselecteerde AI onderzoekspapers met vertalingen
LLM-agenten worden geacht over meerdere beurten te handelen, waarbij zij gebruik maken van zoekopdrachten, browse-interfaces en terminaltools om gebruikersdoelen te volbrengen. Toch is niet elk doel goed gespecificeerd of haalbaar in de beschikbare omgeving. In dergelijke gevallen dient een betrouwbare agent te herkennen dat verdere interactie waarschijnlijk geen zin heeft en af te zien van extra toolaanroepen. Wij definiëren Agentische Onthouding, het probleem van beslissen wanneer een agent moet stoppen met handelen onder onzekerheid. In tegenstelling tot standaard LLM-onthouding, die doorgaans wordt geëvalueerd als een eenmalige antwoord-of-onthoud-beslissing, is agentische onthouding een sequentieel beslissingsprobleem: een agent kan per beurt antwoorden, zich onthouden of meer informatie verzamelen, en de noodzaak tot onthouding kan pas duidelijk worden na interactie met de omgeving. We bestuderen dit probleem in webshoppen, terminalomgevingen en vraagbeantwoording, waarbij we 13 LLM-als-agent-systemen en 2 agent-scaffolds evalueren op meer dan 28.000 taken. Onze resultaten tonen aan dat de grootste uitdaging niet alleen is of agenten zich kunnen onthouden, maar ook wanneer zij dat doen. Sommige agenten onthouden zich nooit wanneer dat zou moeten, terwijl anderen dat pas doen na vele onnodige interacties. Deze kloof is bijzonder groot bij taken waarbij de instructie haalbaar lijkt totdat de omgeving het tegendeel laat zien (bijvoorbeeld geen geldig resultaat dat overeenkomt met de instructie). Verder vinden we dat modelschaal, redeneren en agent-scaffolding de onthouding op verschillende manieren beïnvloeden, waarbij grotere of capabelere modellen soms slechter presteren op tijdige onthouding. Ten slotte introduceren we CONVOLVE, een contextengineeringmethode voor het verbeteren van agentische onthouding die volledige interactietrajecten destilleert tot herbruikbare stopregels. Op WebShop verbetert CONVOLVE de tijdige onthouding aanzienlijk zonder modelparameters aan te passen, waardoor de tijdige herkenningsratio van Llama-3.3-70B stijgt van 26,7 naar 57,4. Onze dataset en code zijn beschikbaar op https://lhannnn.github.io/agentic-abstention.
Stream-videobewerking heeft snelle vooruitgang geboekt, maar praktische implementatie wordt nog steeds beperkt door twee kernproblemen: het handhaven van stabiele achtergronden en onbewerkte regio's in de loop van de tijd, en het bereiken van de lage latentie die vereist is voor real-time interactieve scenario's. Ondertussen zijn recente methoden voor het genereren van streamingvideo's meestal ontwikkeld voor synthese en kunnen ze niet rechtstreeks worden toegepast op bewerking vanwege de strikte bewaringsvereiste en regiospecifieke controle. In dit werk presenteren we een nieuw raamwerk voor streaming videobewerking dat causale, frame-voor-frame bewerking uitvoert met sterke inhoudsbehoud en real-time responsiviteit. Ons belangrijkste ontwerp is een driefasige distillatiepijplijn die de bewerkingsmogelijkheid geleidelijk overdraagt van een krachtig bidirectioneel funderingsmodel naar een efficiënte unidirectionele streaming-editor, waardoor stabiele langetermijnbewerkingen mogelijk worden zonder visuele getrouwheid op te offeren. Om real-time implementatie verder te ondersteunen, introduceren we een AR-gerichte maskercache die regio-gerelateerde berekeningen over frames heen hergebruikt, waardoor redundante verwerking aanzienlijk wordt verminderd en de inferentie wordt versneld. Ten slotte stellen we een specifieke benchmark op voor streaming videobewerking. Uitgebreide evaluaties tonen aan dat onze methode de beste visuele kwaliteit bereikt onder streaming-baselines, terwijl de inferentiesnelheid drastisch wordt verhoogd tot 12,66 FPS, waardoor het geschikt is voor interactieve en augmented reality-toepassingen.
We introduceren Agents-A1, een 35B Mengsel-van-Experts Agentisch Model dat prestaties op biljoen-parameterniveau bereikt door de agenthorizon op te schalen. We onderzoeken het opschalen van de agenthorizon vanuit twee perspectieven: het opschalen van langetermijntrajecten en het opschalen van heterogene agentcapaciteiten. Ter ondersteuning van dit doel bouwen we een lange-horizon kennis-actie-infrastructuur die externe kennis, acties, observaties en verifieeruitkomsten verbindt, en agentische trajecten produceert met een gemiddelde lengte van 45K tokens. Op basis hiervan trainen we Agents-A1 met een driefasenrecept. Eerst voeren we volledige-domein gesuperviseerde finetuning uit om het basismodel af te stemmen op brede agentische gedragingen. Ten tweede trainen we domeinniveaudocentmodellen om gespecialiseerde expertise in elk domein vast te leggen. Ten derde stellen we een multi-docent domeingerouteerde on-policy distillatie voor met opvallende woordenlijstafstemming om de kennistransfer-efficiëntie over verschillende domeinen te verbeteren, waarbij zes heterogene domeinen worden verenigd in één inzetbaar studentmodel. Agents-A1 behaalt sterke en brede prestaties op lange-horizon agentbenchmarks. Vergeleken met 1T-parametermodellen zoals Kimi-K2.6 en DeepSeek-V4-pro behaalt Agents-A1 toonaangevende resultaten op SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) en MolBench-Bind (56,8), en blijft het zeer concurrerend op SciCode (44,3), HLE (47,6) en BrowseComp (75,5). We hopen dat dit werk de gemeenschap een praktisch pad biedt voor het opschalen van de horizon met behulp van een 35B agent die de prestaties van 1T-modellen op langetermijntaken kan bereiken of evenaren.
Naarmate grote taalmodellen en raamwerken voor het inzetten ervan zich blijven ontwikkelen, zijn agenten die in terminals opereren steeds beter in staat om een breder scala aan algemene computergebruikstaken uit te voeren, verder dan alleen programmeren. Bestaande benchmarks evalueren echter niet adequaat algemene terminalgebaseerde computeragenten (TUA's): algemene computergebruik-benchmarks richten zich voornamelijk op grafische gebruikersinterfaces (GUI's), terwijl terminalgebaseerde benchmarks grotendeels de nadruk leggen op technische en programmeergerichte workflows die historisch gezien eigen zijn aan de shell. Wij introduceren TUA-Bench, een algemene benchmark voor terminalagenten. TUA-Bench omvat 120 praktijkgerichte taken verdeeld over vijf taakfamilies, die alledaagse digitale activiteiten beslaan – waaronder documentbewerking, e-mailbeheer en het zoeken van actuele informatie op het live-web – evenals wetenschappelijke en technische workflows, ontworpen samen met domeinexperts op PhD-niveau, die gespecialiseerde software vereisen. Deze breedte onderscheidt TUA-Bench van eerdere shell-gebonden of domeinspecifieke benchmarks. Elke taak is handmatig ontworpen, wordt uitgevoerd in een echte terminal met een deterministisch installatiescript en wordt geëvalueerd met een op uitvoering gebaseerd scoringsprotocol. Wij constateren dat de sterkste grensverleggende agent, Claude Code met Claude Opus 4.8 maximale redeneerinspanning, een algehele prestatie van 65,8% behaalt, met aanzienlijke hiaten in beide sporen. Door een brede en realistische evaluatie van terminalgebruiksmogelijkheden te bieden, streeft TUA-Bench ernaar de overgang te versnellen van smalle, taakspecifieke assistenten naar algemene agenten die betrouwbaar kunnen opereren in uiteenlopende digitale omgevingen.
Om het geheugengebruik tijdens LLM-inferentie te verminderen, zijn er een aantal methoden voorgesteld voor KV-cache-snoei. Hoewel deze technieken op veel datasets verliesvrije geheugenreductie kunnen bereiken, zijn ze vaak afhankelijk van een onderbelichte voorwaarde: er moet een input-/domeinspecifieke drempelwaarde voor het KV-cache-budget worden vooraf bepaald om optimale prestaties te behalen. Een dergelijk inputsensitief ontwerp kan echter aanzienlijk beperkt zijn in realistische scenario's, omdat open-domein-inputs uiteenlopende domeinen, lengtes en moeilijkheidsgraden beslaan, zonder duidelijke grenzen voor drempelselectie. Als gevolg hiervan kan de afhankelijkheid van een dergelijke inputsensitieve drempel een fundamentele beperking vormen die leidt tot grote verslechtering bij willekeurige inputs. In dit werk stellen we een nieuwe doelstelling voor die de drempelbeperkingen voor robuuste KV-compressie opheft, en pleiten we voor 'drempelvrije' methoden die de budgettoewijzing adaptief aanpassen terwijl de volledige cacheprestaties behouden blijven. Vervolgens stellen we een nieuwe methode voor, ReFreeKV, die dient als de eerste concretisering van deze doelstelling. Uitgebreide experimenten op 13 datasets met uiteenlopende contextlengtes, taaktypen en modelgroottes tonen de effectiviteit en efficiëntie aan. Onze code is openbaar beschikbaar gesteld op https://github.com/Patrick-Ni/ReFreeKV.
Fundamentmodellen voor voorspellend machinaal leren op tabulaire gegevens hebben recentelijk aanzienlijke populariteit verworven in de academische wereld en de industrie. Onderzoeksgemeenschappen uit verschillende disciplines evalueren steeds vaker tabulaire fundamentmodellen op uiteenlopende datasets en taken. Echter, deze taak- en disciplinespecifieke evaluaties blijven grotendeels ontoegankelijk voor modelonderzoekers omdat benchmarksoftware en evaluatieprotocollen gefragmenteerd zijn. Als gevolg hiervan vertrouwen modelonderzoekers op standaard benchmarks, die meestal zijn gedefinieerd voor taken waarin tabulaire fundamentmodellen al uitblinken. De meest uitdagende scenario's worden uitgesloten, waardoor zinvolle vooruitgang in het veld wordt beperkt door zich te richten op marginale verbeteringen op IID-gegevens in plaats van op bredere, veeleisendere uitdagingen. Om dit te overwinnen introduceren we BeyondArena, de eerste uniforme holistische benchmark voor tabulaire gegevens die diverse taaktypen ondersteunt (IID, temporeel, gegroepeerd), over steekproefgrootte en kenmerkdimensionaliteitsschalen, met diverse kenmerktypen (met tekst, met hoge kardinaliteit) uit een breed scala aan disciplines. Om uniforme benchmarking buiten standaard benchmarks mogelijk te maken, introduceren we Data Foundry, een Python-framework en metadataschema voor het samenstellen van tabulaire datasets voor voorspellend machinaal leren. Onze resultaten over 11 modellen en 142 samengestelde datasets tonen aan dat bestaande tabulaire fundamentmodellen uitblinken op kleine tot middelgrote IID-gegevens, terwijl traditionele op bomen gebaseerde en diepe leermodellen nog steeds domineren op niet-IID, grote en hoogdimensionale datasets. BeyondArena stuurt modelonderzoek voor de meest veeleisende uitdagingen in tabulaire gegevens, waardoor vooruitgang naar werkelijk fundamentele tabulaire modellen mogelijk wordt.
Fysieke interacties volgen een langstaartverdeling: een verzameling gangbare en reguliere interacties domineert de menselijke ervaring en visuele gegevens, terwijl een breed spectrum aan zeldzame en onregelmatige interacties ondervertegenwoordigd blijft. Hoewel recente visuele wereldmodellen, waaronder beeld- en videogeneratiemodellen, indrukwekkende realisme bereiken op bestaande benchmarks, richten zij zich voornamelijk op het simuleren van gangbare fysieke interacties. Dit roept een centrale vraag op: internaliseren en generaliseren huidige visuele wereldmodellen fysische principes? In dit werk introduceren we Tailor-Bench, een benchmark die wereldmodellen uitdaagt om onregelmatige fysieke interacties te simuleren. Om systematische evaluatie mogelijk te maken, ontwerpen we drie scenariomodellen die de redenering van het model steeds verder uitdagen: Reguliere scenario's weerspiegelen gangbare gereedschap-taakcombinaties, Onconventionele scenario's vervangen conventionele gereedschappen door attribuut-compatibele substituten om affordantiegeneralisatie te testen, en Onmogelijke scenario's introduceren attribuut-schendende gereedschappen om beperkingsbewustzijn te onderzoeken. Daarnaast ontwerpen we twee complementaire instellingen onder een uniform evaluatieprotocol: predictieve generatie vereist het afleiden van uitkomsten zonder begeleiding, terwijl beschrijvende generatie de beoogde uitkomst specificeert voor getrouwe realisatie. Onze experimentele resultaten onthullen een duidelijke langstaartkloof in fysische wereldmodellering: de prestaties dalen van Reguliere naar Onconventionele en Onmogelijke scenario's, wat wijst op beperkte generalisatie voorbij gangbare interacties. Foutanalyse toont verder aan dat modellen vertrouwen op oppervlakkige visuele patronen: beeldmodellen slagen er niet in correcte toestandsveranderingen te realiseren, terwijl videomodellen bovendien lijden aan temporele inconsistenties.
De recente interesse in multimodale grote taalmodellen (MLLM's) roept een centrale vraag op: kunnen ze redeneren over dynamisch visueel bewijs in plaats van alleen objecten of gebeurtenissen in individuele frames te herkennen? Dit vermogen, dat wij video-temporeel-logisch redeneren noemen, vereist dat modellen bewijs behouden, bijwerken en samenstellen naarmate visuele toestanden evolueren over frames heen. Bestaande video-benchmarks verwarren dit vermogen vaak met scènecomplexiteit, statische herkenning of ongecontroleerde temporele variatie. Om dit vermogen te isoleren, introduceren we Video-MME-Logical, een gecontroleerde benchmark die is georganiseerd rond vijf temporeel-logische operaties: toestandsvolgen, sequentieel tellen, temporele ordening, dynamische spatialiteit en structurele compositie. De benchmark bevat 25 fijnmazige taakcategorieën gegenereerd met gecontroleerde objecttoestanden, overgangen, temporele afhankelijkheden en logische composities. Het maakt moeilijkheidsgecontroleerde evaluatie van het eindantwoord mogelijk door variatie in temporele horizon en redeneringscomplexiteit, en ondersteunt tussentoestandsdiagnostiek door te verifiëren of modellen de vereiste logische redeneringstraject herstellen voordat ze het eindantwoord produceren. Experimenten met state-of-the-art MLLM's onthullen een aanzienlijke kloof tussen mens en model, vooral naarmate de temporeel-logische complexiteit toeneemt. Gesuperviseerd finetunen op maximaal 500K gegenereerde voorbeelden verbetert de prestaties, maar blijft onvoldoende om de redeneringskloof te dichten, wat Video-MME-Logical positioneert als een schaalbaar testbed voor het analyseren en verbeteren van temporeel-logisch redeneren in MLLM's.
On-policy distillatie (OPD) traint een student op zijn eigen rollouts, begeleid door feedback van de leraar, en wordt steeds belangrijker voor de natraining van grote taalmodellen (LLM). Net als reinforcement learning (RL) kampt OPD echter met een on-policy systeemknelpunt, omdat rollouts de trainingstijd voor redeneerworkloads kunnen domineren. Asynchrone trainingspijplijnen kunnen dit knelpunt verlichten door rolloutgeneratie te ontkoppelen van lerende updates, maar dit introduceert verouderde-beleidsgegevens. Hoewel eerder werk verouderde gegevens in asynchroon RL heeft bestudeerd, blijven de effecten ervan in OPD onderbelicht. We presenteren de eerste systematische studie van veroudering in asynchrone OPD, gericht op een praktische setting waarin feedback van de leraar wordt geïmplementeerd via lokale KL-verliezen en volledige-woordenschat leraar-logits te duur zijn om op te slaan of over te dragen, wat eindige leraar-score caches noodzakelijk maakt. We tonen eerst aan dat KL-richting het verouderde-gegevensprobleem verandert: leraar-gewogen voorwaartse KL is robuuster tegen verouderde rollouts, terwijl student-gewogen omgekeerde KL kwetsbaar is. Ten tweede bestuderen we voor dit kwetsbare omgekeerde-KL-geval of methoden die zijn ontworpen om asynchroon RL te stabiliseren OPD-veroudering kunnen verminderen. In onze experimenten verbeteren ze niet ten opzichte van een eenvoudiger OPD-specifiek surrogaat: het herberekenen van het omgekeerde-KL-signaal onder de huidige student op het moment van leren. Ten derde analyseren we hoe eindige leraar-score caches een afweging tussen bias en variantie creëren voor schaarse en gesamplede omgekeerde-KL OPD-schatters. Dit motiveert meervoudige-steekproef Monte Carlo (MC), dat MC-corrigeerbaarheid behoudt terwijl de variantie van één steekproef wordt verminderd. Tot slot presenteren en open-sourcen we AsyncOPD, een volledig asynchrone OPD-trainingspijplijn gebouwd op basis van deze schatterskeuzes. Experimenten tonen aan dat AsyncOPD de trainingsdoorvoer met 1,6 tot 3,8 keer verbetert ten opzichte van strikt synchrone training, terwijl het een vergelijkbare nauwkeurigheid bereikt.
Videobegrip is een fundamentele vaardigheid voor multimodale intelligentie, en recente Multimodale Grote Taalmodellen (MLLM's) hebben opmerkelijke prestaties behaald op benchmarks voor Video Vraagbeantwoording (VideoQA). Bestaande benchmarks evalueren echter voornamelijk of modellen oppervlakkige visuele aanwijzingen kunnen waarnemen, terwijl zelden wordt onderzocht of MLLM's diepere kennis of procedurele vaardigheden kunnen leren uit video-handleidingen en deze kunnen generaliseren naar stroomafwaartse langetermijn agentische taken. Om deze leemte aan te pakken introduceren we VG-GUIBench (Video-Guided GUI Benchmark), een nieuwe benchmark die is ontworpen om te evalueren of op MLLM gebaseerde GUI-agenten video-handleidingen kunnen volgen om bijbehorende interactieve GUI-taken uit te voeren. Verder observeren we dat de prestaties van modellen op zowel VideoQA als door video geleide agentische taken in belangrijke mate afhangen van effectieve sleutelframeextractie. Op basis van deze observatie stellen we TASKER (Task-driven And Scene-aware Keyframe searchER) voor, een sleutelframeextractie-algoritme dat zowel taakrelevantie als scènedynamiek in overweging neemt om informatieve frames te identificeren. Experimentele resultaten tonen aan dat TASKER significante prestatieverbeteringen behaalt op zowel VideoQA- als door video geleide agentische taakbenchmarks, waarbij het respectievelijk met 2,0% op de volledige EgoSchema-set en 1,8% op de NExT-QA-dataset beter presteert dan de beste basislijn. Deze resultaten benadrukken verder het potentieel van algemene sleutelframeextractiemethoden voor videobegriptaken. Onze code en data zijn beschikbaar op https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.
Moderne grootschalige LLM-pre-training profiteert van het gebruik van pijplijnparallellisme; synchrone implementaties laten GPU's echter inactief tijdens pijplijnbellen, wat rekenbronnen verspilt. Asynchroon pijplijnparallellisme elimineert deze bellen, wat de doorvoer maximaliseert ten koste van veroudering van gradiënten. Van de asynchrone schema's is PipeDream-2BW bijzonder aantrekkelijk: in tegenstelling tot het oorspronkelijke PipeDream-schema zorgt het voor een constante vertraging van één stap in de gradiënten, ongeacht de pijplijndiepte. Het gebruik ervan blijft echter beperkt vanwege de algemene overtuiging dat optimaliseren onder veroudering fundamenteel instabiel is. In dit werk trekken we deze aanname in twijfel en tonen we aan dat degradatie onder een vertraging van één stap sterk afhangt van de keuze van de optimizer, in plaats van een intrinsieke beperking te zijn. We leveren de eerste uitgebreide empirische analyse waaruit blijkt dat, hoewel AdamW, de dominante optimizer op het moment dat PipeDream-2BW werd geïntroduceerd, inderdaad ernstige degradatie ondervindt, recente methoden zoals Muon een sterke robuustheid vertonen onder een vertraging van één stap. We introduceren een optimizer-agnostische, op foutterugkoppeling geïnspireerde correctie om de vertragingseffecten verder te beperken. We leveren ondersteunende theoretische analyse die convergentie aantoont voor Muon met en zonder deze correctie. Uitgebreide evaluatie op modellen tot 10 miljard parameters bevestigt dat onze strategieën de prestatiekloof met synchrone training overbruggen, wat het praktische potentieel van asynchroon pijplijnparallellisme op schaal benadrukt.
Verschillende real-time spraaktoepassingen stellen specifieke vertragingsbudgetten, wat vaak leidt tot het apart trainen van verbeteringsmodellen per scenario. In dit artikel introduceren we een universeel, real-time spraakverbeteringsmodel dat geschikt is voor alle scenario’s en expliciete controle biedt over zowel algoritmische als rekenkundige vertraging. De algoritmische vertraging wordt flexibel aangepast via configureerbare vooruitkijkframes. Om leerefficiëntieproblemen door variërende paddingconfiguraties te vermijden, introduceren we parallelle convolutionele lagen die overeenkomen met verschillende vooruitkijkinstellingen. De rekenkundige vertraging wordt geregeld via een vroegtijdig uittredemechanisme, waardoor inferentie op verschillende netwerkdieptes mogelijk is. Om de prestatiekloof tussen gespecialiseerde en flexibele modellen te verkleinen, stellen we een tweetraps trainingsstrategie voor met een gedeelde-naar-meervoudige decoderovergang. Over het geheel genomen stelt het voorgestelde raamwerk een enkel model in staat om te worden ingezet voor uiteenlopende vertragingsbudgetten, zonder dat afzonderlijke modellen opnieuw moeten worden getraind.
Recente vooruitgang in 3D Gaussian Splatting heeft ongekend succes laten zien in novel view synthesis. De aanzienlijke overhead voor inferentie en opslag door hoogwaardige sferische harmonischen (SH) vormt echter een belangrijke bottleneck voor mobiele platforms. In dit artikel presenteren we Flux-GS, een real-time Gaussian Splatting-methode die is ontworpen om hoge-getrouwheidweergave te bereiken met aanzienlijk lagere overhead voor resource-beperkte mobiele platforms. We stellen eerst een Monte Carlo Specular Energy Aggregator voor, die derde-orde radiance-residuen bemonstert en speculaire energie aggregeert in een compacte latente ruimte. Op deze manier behoudt onze methode effectief visueel opvallende belichtingskenmerken in lagere-orde banden zonder dure distillatie of voorafgaande training. Om de hoogfrequente details te beperken die tijdens compressie verloren gaan, introduceren we een Attribute-Conditioned SH Enhancement-module. Deze module voorspelt Gaussian-bewuste offsets op basis van intrinsieke Gaussian-attributen, die de eerste-orde SH-representatie verbeteren vóór inferentie, zonder extra inferentiekosten. Bovendien is de oorspronkelijke, op single-view gradiënt gebaseerde verdichting geneigd om overmatige Gaussians te produceren en overaanpassing aan een bepaalde weergave te veroorzaken. We pakken deze beperkingen aan door een Multi-view Alpha-based Densification and Pruning-strategie voor te stellen. Door gebruik te maken van multiview-sturing zorgen we voor multiview-structuurconsistentie en het nauwkeurig verwijderen van redundante primitieven. Uitgebreide experimenten tonen aan dat Flux-GS een aanzienlijke parameterreductie bereikt met behoud van concurrerende visuele kwaliteit, wat een robuuste en schaalbare oplossing biedt voor real-time mobiele weergave. Code: https://xiaobiaodu.github.io/flux-gs-project/
Agentische multimodale modellen voeren diverse bewerkingen uit op een afbeelding via code en redeneren over het teruggegeven aanzicht, een effectief paradigma voor fijnmazige visuele vraagbeantwoording. Code-operaties kunnen echter nuttig, overbodig of misleidend zijn. Alleen-uitkomstbeloningen kunnen deze gevallen niet precies onderscheiden, en bestaande procesbeloningen schrijven ofwel de uiteindelijke correctheid niet toe aan individuele toolaanroepen, of vereisen een extern beoordelingsmodel. Om dit aan te pakken introduceren we Tool-Augmented Credit Optimization (TACO), een GRPO-variant voor code-toolagenten die is gebouwd op twee gekoppelde voordeelkanalen. Het eerste, Differentiële Antwoord-Probe Beloning (DAPR), is een zelfgestuurd, beoordelingsvrij voordeel voor toolbijdrage dat elke toolaanroep crediteert op basis van het eigen effect op het correct beantwoorden. Probetokens die in de redenering van het model worden ingevoegd, ontlokken de voorspellingen met en zonder de tool, en het verschil in uitkomstbeloning wordt genomen als de waarde van de aanroep: positief voor een nuttige aanroep, negatief voor een misleidende, en nul voor een die niets verandert. Dit hergebruikt de bestaande antwoordcontroleur zonder hulpbeoordelaar en is, omdat het een verschil is in plaats van een absolute probescore, van nature robuust tegen probehacking. Het tweede is het uitkomstvoordeel van het uiteindelijke antwoord, verdeeld door Uitkomst-Gated Voordeel Routing (OGAR): een parameterloze regel die, afhankelijk van de uitkomst van de aanroep, dit krediet alleen aan de verantwoordelijke segmenten toewijst, waardoor verspilde toolaanroepen worden onderdrukt zonder enige kostenterm. We trainen TACO via een tweetraps SFT+RL-pijplijn. Uitgebreide experimenten op perceptie-, redeneer- en algemene multimodale benchmarks tonen aan dat het consistente nauwkeurigheidswinsten oplevert en leert zijn tools alleen in te zetten wanneer ze helpen.
Bestaande benchmarks voor computergebruik slagen er niet in om de realiteit, complexiteit en langdurige eisen van computergebruik in de echte wereld te vatten, waardoor ze beperkt zijn in het blootleggen van de tekortkomingen van geavanceerde agenten. We introduceren OSWorld 2.0, een benchmark van 108 langdurige computergebruik-workflows, verdeeld over alledaagse en professionele taken, ontworpen om complexe en uitdagende fenomenen uit de echte wereld te vangen. Elke taak vertegenwoordigt een realistische end-to-end workflow die menselijke gebruikers mediaan ongeveer 1,6 uur kost om te voltooien en gemiddeld 318 toolaanroepen vereist met Claude Opus 4.7 bij maximaal denkvermogen, vergeleken met ongeveer 30 in OSWorld 1.0. OSWorld 2.0 richt zich op uitdagende fenomenen die veelvoorkomend zijn in echte workflows maar ondervertegenwoordigd in eerdere benchmarks, variërend van interactie-ontwerpuitdagingen zoals streaminginteractie en dynamische omgevingen, tot agent-patroonuitdagingen zoals cross-bron redeneren, inferentie van impliciete toestand en visueel-ruimtelijke precisie. Taken zijn gebaseerd op authentieke invoerartefacten en worden gecross-referenced tegen realistische, toestandhoudende gebruikersprofielgegevens, en bevatten aparte veiligheidsrapporten die veiligheidsgevoelige uitvoering auditen. Onder onze primaire binaire voltooiingsmaatstaf bij 500 stappen presteert Claude Opus 4.8 met maximaal denkvermogen en gebundelde toolaanroepen het beste, maar voltooit slechts 20,6% van de taken met een gedeeltelijke score van 54,8%; GPT-5.5 is veel token-efficiënter maar stagneert rond 13%. Deze resultaten tonen aan dat huidige agenten nog ver verwijderd zijn van professioneel computergebruik: in plaats van te struikelen over basis GUI-besturing of programmeren, verliezen ze beperkingen uit het oog, missen ze informatie die tijdens de taak binnenkomt, gissen ze in plaats van de gebruiker te vragen, en slaan ze verificatie over. Ze hebben het meeste moeite wanneer een taak afhangt van verborgen toestand die ze moeten herstellen.
De meeste benchmarks voor codeeragenten zijn statisch: een agent krijgt vooraf een volledige taakomschrijving en wordt alleen beoordeeld op de uiteindelijke code. In de praktijk is codeerondersteuning echter interactief, waarbij gebruikers doelen verduidelijken, beperkingen toevoegen en fouten corrigeren gedurende meerdere gespreksronden. We introduceren SWE-Together, een multi-turn benchmark die is samengesteld uit echte codeersessies tussen gebruikers en agenten. Om echte interacties verifieerbaar te maken, hebben we 109 repository-niveau taken geselecteerd uit 11.260 geregistreerde sessies, waarbij we sessies kozen met herstelbare repository-toestanden, duidelijke gebruikersdoelen en waarneembare uitkomsten. Om deze interacties opnieuw te kunnen afspelen met verschillende agenten, bouwen we een reactieve LLM-gebaseerde gebruikerssimulator die de oorspronkelijke gebruikersintenties behoudt en feedback geeft wanneer de codeeragent voortgang vereist. Om agenten als samenwerkingspartners te evalueren, meten we zowel de uiteindelijke correctheid van de repository als het aantal corrigerende feedbackronden tijdens de interactie. Experimenten met geavanceerde codeeragenten tonen aan dat sterkere agenten over het algemeen hogere uiteindelijke slagingspercentages behalen, terwijl ze minder interventies nodig hebben, wat wijst op een verbeterde gebruikerservaring.
Spraaktaalmodellen (SLM's) zijn uitgebreid bestudeerd, waarbij het gangbare paradigma tekstgegevens en voorgetrainde tekst-LM's omvat. Een toonaangevende benadering is spraak-tekstverweving, waarbij modellen worden getraind op reeksen die zowel spraak- als teksttokens bevatten, met als doel zelfs spraak-only mogelijkheden te verbeteren. De manier waarop deze twee modaliteiten in de latente ruimte van het model interacteren blijft echter onduidelijk. In dit werk analyseren we verweven spraak-tekst-LM's uit verschillende modelfamilies en -groottes door de lens van de logitlens om dergelijk inzicht te verschaffen. We onthullen dat deze modellen een impliciete transcriptiefase doorlopen waarin het teksttoken van het gesproken woord decodeerbaar wordt in tussenliggende lagen, ondanks dat ze niet zijn getraind voor spraakherkenning. De transcriptie van het woord verschijnt als een van de topkandidaatwoorden voor maar liefst 77% van de gegevens. Na deze fase gaan de modellen over tot het voorspellen van het volgende woord in de tekstruimte, alvorens terug te transformeren naar het spraakdomein. Ten slotte analyseren we de rol van verwevingsgegevens en het initialiseren vanuit tekst-LM's bij het opwekken van dit gedrag, en zien we hoe dit correleert met gesproken kennisvaardigheden. Onze analyse werpt licht op de interne mechanismen die ten grondslag liggen aan de relatie tussen spraak- en tekstmodaliteiten en zou de optimalisatie van SLM's kunnen vormgeven.
Data, als het fundamentele substraat van moderne intelligentie, heeft de ontwikkeling van de huidige fundamentmodellen sterk gestimuleerd. Natuurlijk streven onderzoekers ernaar om dit paradigma uit te breiden naar het domein van GUI-agents, in de hoop via een vergelijkbaar paradigma sterke GUI-agents te bouwen. GUI-agentdata kan echter niet rechtstreeks van het internet worden geoogst, wat het kostbaar en moeilijk maakt om op grote schaal te verzamelen. Als gevolg hiervan hebben huidige GUI-agents te kampen met een slechte cross-device generalisatie en een beperkt visueel verankeringsvermogen voor fijnmazige GUI-elementen. Als een poging om de dataproblematiek bij GUI-agents aan te pakken, stellen we GUICrafter voor, een zwakgesuperviseerde GUI-agent die gebruikmaakt van enorme hoeveelheden niet-geannoteerde screenshots om de afhankelijkheid van dure menselijke annotaties aanzienlijk te verminderen. GUICrafter onderzoekt een raamwerk voor curriculumleren om GUI-agents te trainen via twee progressieve fasen. In de eerste fase leert het model visuele verankering van grootschalige niet-geannoteerde screenshots en webpagina's, waarbij het gebruikmaakt van de rijke contextuele signalen die inherent zijn aan GUI-interacties zonder menselijke annotaties. In fase 2 gebruiken we vervolgens een kleine hoeveelheid hoogwaardige data om het model te kalibreren via reinforcement learning. Experimenten tonen aan dat GUICrafter concurrerende of zelfs superieure prestaties levert ten opzichte van geavanceerde systemen zoals UI-TARS, terwijl het slechts 0,1% van de data gebruikt. Bovendien overtreft GUICrafter, onder dezelfde hoeveelheid geannoteerde data, alle eerdere methoden zoals GUI-R1. Code, data en modellen zijn beschikbaar op https://github.com/fansunqi/GUICrafter.
We presenteren DreamForge-World 0.1 Preview, een preview fundamenteel wereldmodel voor real-time interactieve wereldsimulatie. Het systeem past de LongLive 1 autoregressieve videostack aan, zelf afgeleid van Wan2.1-T2V-1.3B, met een residueel actiepad geïnspireerd door de Matrix-Game-familie. DreamForge-World 0.1 Preview richt zich op een complementaire as ten opzichte van wereldwijde simulatoren op frontiershipniveau: rekenarme aanpassing, runtime op consumenten-GPU's en brede dekking van interactieve mogelijkheden. Het ondersteunt live toetsenbord- en muisbesturing, multimodale initialisatie, tussentijdse herprompting, dual-view bediening en minutenlange interactieve rollouts op native 480p-resolutie, met een snelheid tot 14 à 15 FPS op een enkele RTX 4090 en een laag geheugengebruik. Door gebruik te maken van open videobackbones en gerichte aanpassingsruns bouwen we het previewsysteem met hoge kostenefficiëntie. DF-World 0.1 Preview is nog geen geheugenvolledige of wereldwijde simulator van frontiershipkwaliteit, maar toont een praktische rekenarme route naar real-time bestuurbare wereldmodelpreviews op consumenten-GPU's.
Ondanks indrukwekkende vooruitgang in beeldmatting blijft videomatting uitdagend vanwege de inherente kloof tussen tracking op hoog niveau, dat een begrip per frame vereist, en matting op laag niveau, dat zich richt op extreem fijnkorrelige details. Bestaande methoden proberen dit aan te pakken met dure en beperkt toepasbare videomatting-datasets, wat de generalizatie buiten het domein kan beperken en de robuustheid van tracking kan aantasten. Wij herzien het paradigma met SAM2Matting, een tracker-naar-matting raamwerk dat VOS-trackers opwaardeert naar videomatting met hoge getrouwheid. Specifiek ontkoppelt het de taak door een fundamentele tracker (bijv. SAM2, SAM3) te versterken met een regiovoorstelbrug en speciale matting-koppen, waardoor de compromisloze tracker temporele consistentie kan handhaven terwijl de matting-componenten fijnkorrelige details oplossen. Opmerkelijk is dat SAM2Matting, hoewel alleen getraind op beelden, nieuwe state-of-the-art prestaties levert op videomatting, diverse prompttypen ondersteunt, sterke temporele consistentie behoudt en robuuste generalizatie vertoont in zowel mensgerichte als in-the-wild scenario's.
Normalizing Flows (NFs) zijn krachtige generatieve modellen die exacte dichtheidsschatting en sampling mogelijk maken. Hun strikte inverteerbaarheid dwingt het model echter vaak om zijn capaciteit uit te putten op laag-niveau pixeldetails, wat het vastleggen van hoog-niveau semantische structuren belemmert. Hoewel Masked Image Modeling (MIM) uitblinkt in representatieleren, is de integratie ervan in generatieve pijplijnen grotendeels modulair en onsamenhangend gebleven. In dit artikel stellen we MIMFlow voor, een uniform end-to-end raamwerk dat latente semantiek, pixelreconstructie en generatieve flow gezamenlijk optimaliseert. Door een VAE-encoder te gebruiken om semantische latenten uit gemaskeerde afbeeldingen af te leiden, bereikt MIMFlow een principiële ontkoppeling van de generatieve taak: de Normalizing Flow richt zich op het modelleren van een vereenvoudigd, laagfrequent semantisch manifold, terwijl een gespecialiseerde decoder de hoogfrequente synthese afhandelt. Dit ontwerp lost effectief de inherente capaciteitsknelpunt van NFs op, waardoor het model prioriteit kan geven aan globale structurele coherentie boven redundante ruis. Empirische resultaten op ImageNet 256×256 tonen aan dat MIMFlow-L een lineaire probing nauwkeurigheid van 71,3% en een FID van 2,50 bereikt. Ondanks het gebruik van slechts 128 tokens (50% minder dan standaardmodellen), levert het een prestatieverbetering van 32,8% op ten opzichte van NF-baselines van vergelijkbare schaal. Onze code is beschikbaar op https://github.com/MCG-NJU/MIMFlow.
Tijdreeksvoorspellingsonderzoek is gestaag in de richting van grotere architecturen opgeschoven, van gespecialiseerde transformatoren tot algemene funderingsmodellen, onder de aanname dat capaciteit de sleutel is tot nauwkeurigheid. Wij nemen de tegenovergestelde positie in: het grootste deel van de kloof kan tegen veel lagere kosten worden gedicht door de voorbewerking af te stemmen in plaats van modellen op te schalen. We gebruiken Ridge-regressie als testbed, omdat deze een gesloten-vorm oplossing en interpreteerbare gewichten heeft, waardoor de optimale hyperparameters direct uit de zoekopdracht kunnen worden afgelezen. We doorzoeken contextlengte, lokale normalisatie, regularisatie en augmentatie op acht standaard benchmarks en vinden drie patronen. (1) Optimale terugkijkvensters zijn sterk seriespecifiek en vaak niet-monotoon in de voorspellingshorizon, met aangepaste machtswetexponenten variërend van +0,46 op ETTm2 tot -0,19 op Exchange en Traffic, wat de conventie uitdaagt dat langere horizons een langere geschiedenis vereisen. (2) Normaliseren over een getrainde achterwaartse fractie van de context, in plaats van de gehele context, heeft vrijwel universeel de voorkeur. (3) Reeksen binnen dezelfde dataset verschillen vaak van mening over hyperparameters; de optimale mate van cross-serie delen varieert van volledig gedeeld tot volledig per reeks. De resulterende modellen verslaan eerdere lineaire voorspellers op de meeste dataset-horizon combinaties en overtreffen Transformer-, MLP- en CNN-basislijnen op zes van de acht benchmarks. De geoptimaliseerde hyperparameters dienen tevens als een diagnostisch hulpmiddel voor de data zelf, waarbij structuren aan het licht komen die grotere modellen stilzwijgend in hun aangeleerde parameters absorberen.
Wij presenteren Nemotron-Labs-Diffusion-Image, een state-of-the-art gemaskeerd discreet diffusiemodel (MDM) voor hoogwaardige tekst-naar-beeldsynthese. Vergeleken met eerder werk op het gebied van gemaskeerde beeldgeneratie pakt Nemotron-Labs-Diffusion-Image twee belangrijke uitdagingen aan. Ten eerste, in tegenstelling tot continue diffusiemodellen die latente representaties stapsgewijs over het gehele beeld verfijnen, missen standaard MDM's het vermogen tot zelfcorrectie, omdat discrete tokens eenmaal onthuld niet meer kunnen worden gewijzigd. Ten tweede: hoewel het vergroten van de vocabulairegrootte van discrete beeldtokenizers de reconstructiekwaliteit verbetert, leidt dit tot optimalisatieproblemen voor generatieve modellering doordat het per-token trainingssignaal steeds schaarser wordt. Om de eerste uitdaging aan te pakken, bevat Nemotron-Labs-Diffusion-Image een token-bewerkingsmechanisme waarmee het model tijdens de inferentie dynamisch reeds onthulde tokens kan herzien, vergelijkbaar met hoe een beeldhouwer zijn werk iteratief verfijnt. Om de tweede uitdaging aan te gaan, stellen we een gegroepeerde cross-entropiedoelstelling (GCE) voor die positieve leersignalen toekent aan tokens die in de inbeddingsruimte naburig zijn aan de grondwaarheid, waardoor de signaalschaarste wordt verminderd. Om de trainingsefficiëntie verder te verbeteren, implementeren we een aangepaste gefuseerde operator voor GCE die het VRAM-gebruik in instellingen met grote vocabulaires aanzienlijk vermindert. Experimentele resultaten tonen aan dat deze innovaties zowel de trainingsefficiëntie als de beeldgetrouwheid van gemaskeerde discrete beeldgeneratoren aanzienlijk verbeteren, met scores van 0,90 op GenEval, 86,9 op DPG en 10,76 op HPSv3.
Wiskundige kennis is georganiseerd rondom beweringen en hun afhankelijkheden, maar deze structuur wordt ongelijkmatig blootgelegd: informele artikelen citeren meestal op documentniveau, terwijl formele bibliotheken fijnmazige afhankelijkheden vastleggen over een veel kleiner deel van de wiskunde. We introduceren TheoremGraph, een uniforme afhankelijkheidsgraaf op beweringniveau die zowel informele als formele wiskunde omvat. Aan de informele kant parsen we 11,7M stellingachtige omgevingen uit wiskunde arXiv en herstellen we 18,3M kandidaat-gerichte afhankelijkheden, elk gelabeld door de extractor die het voorstelde, zodat downstream-gebruikers dekking kunnen inruilen voor precisie. Aan de formele kant brengen we LeanGraph uit, een extractor op elaborator-niveau voor Lean 4 die 388.105 declaratieknooppunten en 11,3M getypte randen produceert in 25 Lean-projecten. We overbruggen de twee grafieken door gegenereerde natuurlijke-taal-slogans in een gedeelde semantische ruimte in te bedden, waardoor gerelateerde beweringen over papers en over de informele/formele kloof heen worden gekoppeld; een LLM-rechter bevestigt 47.952 van dergelijke matches boven een cosinusdrempel van 0,8, waarbij het acceptatiepercentage van de rechter stijgt van 48% over de drempel tot 87% in de >=0,9-categorie. Bij het ophalen van formele concepten blijft onze naam-en-handtekeningrepresentatie met graafuitbreiding binnen 0,5 procentpunt van LeanSearch v2's herschikte Recall@10 (0,775 vs. 0,780) zonder een LM-herschikker. We geven de dataset, extractors, HTTP-API en MCP-interface vrij als infrastructuur voor wiskundig zoeken, bronvermelding en retrieval-augmented reasoning, beschikbaar op theoremsearch.com en huggingface.co/datasets/uw-math-ai/theorem-matching.
LLM-agents verwerken gebruikersverzoeken namens organisaties via toolaanroepen en moeten de bedrijfsbeleidsregels volgen die in hun systeemprompts zijn vastgelegd. Eerder werk benadert dit als een beveiligingsprobleem – externe controles die niet-conforme agentacties blokkeren. Wij betogen dat beleidsnaleving een breder probleem is: echte workflows ontvouwen zich over vele beurten, vereisen expliciete gebruikersbevestiging en voorafgaande lezingen, en hangen af van de inhoud van de dialoog in plaats van een enkele argumentwaarde. Om aan deze vereiste te voldoen is (i) volledige gesprekscontext, (ii) zelfredenering over het beleid en de huidige dialoog, en (iii) gespreksspecifieke correctie die de volgende beurt van de agent stuurt nodig – drie capaciteiten die eerder beveiligingswerk vaak heeft onderschat. We introduceren POLICYGUARD, een sub-agentverificateur die de kijk van de agent op de dialoog deelt, over het beleid in context redeneert en bruikbare feedback voor de volgende beurt van de agent geeft. Op tau²-BENCH airline bij drie leveranciers (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) met vier proeven per instelling, verbetert POLICYGUARD PASS4 met +12,0 / +6,0 / +12,0 procentpunt. Per-aanroepanalyses tonen aan dat POLICYGUARD een hogere recall voor beleidsschendingen behaalt terwijl het ongeveer half zo vaak blokkeert als argumentniveau-beveiligingen.
Interactieve videogeneratiesystemen voor cameragestuurde wereldverkenning rollen groeiende sequenties van latente videoframes uit, waarbij toestandsovergang verstrengeld wordt met hoogfrequente observatiesynthese. Wij stellen Walking in the Implicit voor, een scènegericht paradigma dat de uitrolvariabele verandert van framelatenten naar een vastlange, weergeefbare impliciete toestand, genaamd Neurale Impliciete Scène (NIS). Dit factoriseert interactieve generatie in een stochastische overgang van een compacte scènetoestand en een deterministische pose-afhankelijke weergave, gegeven de gesamplede toestand. We instantiëren dit paradigma als NeuWorld: een transformer-VAE leert lokaal verankerde NIS uit schaars geposeerde frames, en een diffusie-transformer evolueert NIS, geconditioneerd op toekomstige cameratrajecten en geometriebewust opgehaalde geschiedenis. Door de VAE-encoder te hergebruiken als uniforme conditioner, brengt NeuWorld cameracues, referentiebeeldcues en geschiedeniscues in dezelfde NIS-modaliteit, waarbij externe heterogene encoders worden vermeden. NeuWorld, getraind vanaf nul op openbare geposeerde-aanzichten data zonder voorgetrainde videobackbones of hulp-3D-reconstructoren, bereikt sterke lange-termijn consistentie met gunstige inferentie-efficiëntie.
RocketSmith is een agentisch systeem dat het DFAM-proces voor de ontwikkeling van krachtige, lanceerbare raketten intelligent automatiseert. Het systeem gebruikt een groot taalmodel om de uitvoering van softwaretools te orkestreren, waarmee ontwerpkenmerken zoals vliegstabiliteit worden gevalideerd en de parametrische ontwerpcomponenten voor de raketassemblage worden gegenereerd. Een verzameling subagenten en vaardigheden maakt optimalisatieworkflows van vluchtparameters mogelijk via iteratie in zowel zero-shot- als mens-in-de-lus-workflows. Met dit systeem werden vier verschillende krachtige raketten met uiteenlopende motor- en assemblagconfiguraties ontwikkeld, gebruikmakend van de unieke ontwerpmogelijkheden van additieve productie. Deze assemblagecomponenten werden vervaardigd met behulp van verschillende FDM-printers, handmatig beoordeeld op vlieggereedheid en getest tijdens een lanceerevenement. Uit deze tests bleek dat alle raketten een stabiele lancering bereikten, en twee van de vier raketten werden succesvol teruggevonden in een herlanceerbare staat. De hoogtemetergegevens bevestigden dat de raketten een hoogte bereikten die 80% bedroeg van het verwachte apogeum zoals voorspeld door het agentische systeem, wat een consistentie tussen simulatie en experiment aantoont.
Het voorspellen van de moeilijkheid van items voor mensen staat centraal in onderwijsbeoordeling, waarbij betrouwbare schattingen bijdragen aan eerlijkheid en effectieve toetsconstructie. Bestaande methoden zijn vaak afhankelijk van kostbare menselijke kalibratie of tekstuele representaties op itemniveau, en bieden beperkt inzicht in de cognitieve processen die items moeilijk maken. Wij stellen dat moeilijkheid niet alleen moet worden gezien als een eigenschap van de itemtekst, maar ook als een waarneembaar gevolg van de probleemoplossende belasting die een item met zich meebrengt. Grote Redeneermodellen (GRM's) bieden schaalbare procesinformatie via redeneersporen, maar dergelijke informatie moet gestructureerd worden om interpreteerbare modellering te ondersteunen. Daartoe introduceren wij Epi2Diff (Episode to Difficulty), een raamwerk dat redeneersporen van GRM's omzet in cognitief gefundeerde episodesequenties. Deze episodes groeperen spoorsegmenten in functionele probleemoplossende toestanden, waardoor moeilijkheid gemodelleerd kan worden aan de hand van redeneerschaal, inspanningsallocatie en toestandsovergangen. Epi2Diff extraheert compacte episodedynamische kenmerken en combineert deze met semantische itemrepresentaties voor de voorspelling van menselijke moeilijkheid. Experimenten op vier realistische datasets van menselijke moeilijkheid tonen aan dat Epi2Diff consequent beter presteert dan sterke baselines, waaronder fijn afgestemde kleine taalmodellen, LLM-in-contextleren en gesuperviseerde LLM-aanpassing. Op van SAT afgeleide classificatiebenchmarks behaalt Epi2Diff een gemiddelde relatieve winst van 8,1% ten opzichte van gesuperviseerde LLM-fijnafstemmingsbaselines. Verdere analyses tonen aan dat moeilijkere items meer inspanningrijke, iteratieve en implementatiegerichte episodedynamiek induceren, en niet simpelweg langere antwoorden. Deze resultaten laten zien dat cognitieve episodes in redeneersporen van GRM's een voorspellende en interpreteerbare procesrepresentatie bieden voor menselijke itemmoeilijkheid, en een nieuw perspectief bieden voor onderwijsmeting met redeneermodellen.
Op MLLM gebaseerde GUI-ankeringsmethoden formuleren doellokalisatie vaak als autoregressieve coördinaatgeneratie, waardoor modellen de sterke instructievolg- en semantische begripscapaciteiten van MLLM's kunnen benutten. Deze formulering vereist echter dat het model regio-niveau doelelementen behoudt tijdens het decoderen van coördinaat-tokens met de ruimtelijke precisie die vereist is voor GUI-klikken. Onze diagnostische analyse toont aan dat doelgebiedbesef ontstaat in intermediaire decoderlagen, maar niet wordt behouden of vertaald naar de uiteindelijke coördinaatvoorspelling. Bestaande ZoomIn-achtige methoden pakken dit probleem aan via een externe bijsnijd-en-heraanroeppass, wat de lokalisatie verbetert maar de end-to-end latentie en rekenkosten verhoogt. Om de nauwkeurigheidsvoordelen van tweepassig inzoomen te behouden zonder deze extra kosten, stellen we InnerZoom voor, een enkelvoudig doorstuurframework voor cross-layer bewijsoverbrugging. InnerZoom transformeert doelgerelateerde aanwijzingen uit de oorspronkelijke doorstuurpassage in een compacte cross-layer bewijstoestand, behoudt, verfijnt en injecteert deze toestand vervolgens opnieuw in latere decoderlagen om de coördinaatvoorspelling te sturen. Uitgebreide experimentele resultaten suggereren dat InnerZoom-4B state-of-the-art prestaties behaalt op alle zes GUI-ankeringsbenchmarks, met scores van 64,7 op OSWorld-G, 40,2 op UI-Vision, 73,1 op OSWorld-GR en 87,6 op MMBench-GUI, waarmee de vorige beste resultaten met respectievelijk 4,1, 3,2, 2,9 en 2,3 punten worden overtroffen. In een gecontroleerde 4B-omgeving verbetert InnerZoom dezelfde SFT+RL-baseline met gemiddeld 5,3 punten en presteert het gemiddeld 1,3 punten beter dan tweepassig ZoomIn, terwijl de end-to-end latentie met maximaal 31,8% en de TFLOPs met ongeveer 29% worden verminderd. Code en modellen zullen openbaar beschikbaar worden gesteld.
Het aanpassen van een fundamentele visie-taalencoder aan een gespecialiseerde zoektaak creëert een fundamentele afweging: winst op de doeldistributie gaat ten koste van de brede generalisatie van het fundamentmodel, en mode-retrieval is een stringent voorbeeld van dit probleem. We presenteren ZooClaw-FashionSigLIP2, een op mode gespecialiseerd SigLIP2-basismodel dat deze afweging oplost met een eenvoudig recept — volledige fijnafstelling met kennisdistillatie op samengestelde domeinspecifieke gegevens, gevolgd door wiseft~wortsman2022wiseft gewichtsinterpolatie met het basismodel — en presteert beter dan LoRA, grotere backbones (tot 1B parameters) en externe trainingsgegevens. Onder eerlijke evaluatie presteert ZooClaw-FashionSigLIP2 beter dan alle baselines op elke benchmark in onze suite. Daarnaast brengen we ZooClaw-Fashion uit, een nieuwe hoogwaardige mode-retrieval benchmark, en een systematische kwaliteitsanalyse van veelgebruikte benchmarks die structurele vertekeningen in hun openbare grondwaarheid blootlegt en mitigeert. We open-sourcen de modelgewichten en alle evaluatieartefacten om toekomstig onderzoek te ondersteunen.
Generatief moleculair ontwerp wordt gevormd door eenvoudige proxy-benchmarks voor medicijnachtige eigenschappen en modellen die zijn getraind op grote farmaceutische datasets. Deze combinatie levert sterke benchmarkmetrieken op, maar beperkt de overdraagbaarheid naar domeinen die structureel afwijken van medicijnontdekking. Om deze beperking te overwinnen en ontdekking naar echte, wetenschappelijk onderbouwde doelen te sturen, introduceren we de Nanotechnology Molecular Optimization (NMO) Benchmark, die machine learning (ML) en kwantummaterialenwetenschap overbrugt. NMO fungeert tegelijkertijd als een strenge testomgeving voor de ML-gemeenschap en een ontdekkingsmotor voor nanotechnologieonderzoek. De suite vervangt proxy-orakels door kwantumsimulaties en introduceert strikte protocollen die wetenschappelijk nut boven leaderboard-gerichte overfitting prioriteren. De op fysica gebaseerde NMO-taken leggen harde structurele beperkingen en ruige fitness-landschappen op, wat fundamenteel nieuwe eisen stelt aan generatieve modellen. Opvallend is dat geavanceerde moleculaire optimalisatiemethoden veel eenvoudigere benaderingen overtreffen op de NMO-taken. We ontwikkelen een nieuwe basismethode die de kritieke componenten identificeert om de NMO-taken op te lossen, waaronder een nieuwe representatie voor het modelleren van structurele beperkingen en een domein-agnostische pretrainingstrategie om farmaceutische dataset-bias te elimineren. Onze resultaten overtreffen de modernste fysische eigenschappen en onthullen voorheen onbekende structurele motieven, wat nieuwe inzichten biedt voor de nanotechnologiegemeenschap en aantoont dat ML echte wetenschappelijke ontdekkingen kan stimuleren.
In praktijktoepassingen wordt van guardrails vaak verwacht dat zij onveilige gebruikers-modelinteracties identificeren op basis van toepassingsspecifieke veiligheidsbeleid, in plaats van te vertrouwen op vooraf gedefinieerde risicotaxonomieën. In dit werk bestuderen we deze setting binnen het paradigma van in-context beleidsguardrailing, waarbij guardrails veiligheidsschendingen voorspellen op basis van beleidsspecificaties die in de context worden verstrekt. Om dit vermogen systematisch te evalueren, introduceren we SafePyramid, een veiligheidsbenchmark bestaande uit 1.000 meerroundsgesprekken in 10 domeinen en 3.000 bijbehorende toepassingsspecifieke beleidsregels, die samen 61.699 verschillende natuurlijke-taalregels bevatten. SafePyramid organiseert de evaluatie in drie moeilijkheidsniveaus: L0 evalueert het begrip van individuele regels, L1 evalueert het redeneren over regelafhankelijkheden, en L2 evalueert de aanpassing aan volledige nieuwe beleidskaders die in de context zijn gedefinieerd. Om de kwaliteit van de benchmark te waarborgen, gebruiken we een rigoureuze meerfasenpijplijn om de benchmark te construeren en te valideren. Met behulp van SafePyramid evalueren we 10 geavanceerde LLM's en 5 beleidsconfigureerbare guardrails en concluderen dat in-context beleidsguardrailing nog steeds zeer uitdagend is: zelfs het best presterende model, GPT-5.5, identificeert de volledige set geschonden regels in slechts 54,0%, 35,3% en 12,9% van de gevallen op respectievelijk L0, L1 en L2. Deze resultaten benadrukken de beperkingen van huidige guardrails en vragen om sterkere in-context beleidsguardrails die betrouwbaar beleid kunnen uitvoeren, regelafhankelijkheden kunnen oplossen en zich kunnen aanpassen aan nieuwe beleidskaders.
De opkomst van Large Reasoning Models heeft uitzonderlijk lange Chain-of-Thought-traceringen geïntroduceerd, wat een transparantielast creëert waarbij kritische logica vaak begraven raakt onder massieve procedurele tekst. Om dit aan te pakken presenteren we ReasoningLens, een open-source raamwerk ontworpen voor de hiërarchische visualisatie en diagnostische auditing van complexe redeneerketens. ReasoningLens pakt informatie-autopsie aan door: (1) het structureren van traceringen in interactieve hiërarchieën die hoog-niveau strategie scheiden van laag-niveau uitvoering; (2) het benutten van een agentische auditor voor geautomatiseerde foutdetectie en tool-verrijkte verificatie; en (3) het synthetiseren van systemische redeneerprofielen om model-specifieke blinde vlekken te onthullen. Door ongestructureerde tekstmuren om te zetten in actiegerichte inzichten, biedt ReasoningLens een modulaire basis voor het interpreteren, debuggen en optimaliseren van de volgende generatie redeneergerichte AI.
Mixture-of-Experts (MoE)-architecturen zijn naar voren gekomen als een krachtig paradigma voor het schalen van diffusiemodellen in visuele generatie. Recente vooruitgang heeft zich gericht op het adaptief toewijzen van rekenbronnen over diverse tokens om efficiëntie en prestaties te verbeteren. Echter, wij identificeren een routeringstoewijzingsprobleem in bestaande diffusie-MoE-raamwerken: de router slaagt er niet in om nauwkeurig meer rekenbronnen toe te wijzen aan opvallende tokens. Onze analyse wijt dit falen aan de afhankelijkheid van de router van door ruis aangetaste latente kenmerken gedurende het ontruisingsproces. Dergelijke stochastische ruis verbergt de kritische structurele en textuurinformatie, waardoor de router wordt verhinderd om opvallende tokens effectief te onderscheiden. Om dit aan te pakken, stellen we SharpMoE voor, een post-training raamwerk met een nauwkeurig routeringsmechanisme dat saillantie benut, waarbij schone latente kenmerken worden gebruikt als een ruisvrij stuur signaal voor routering. Door de door ruis vervormde invoer te omzeilen, voorziet SharpMoE de router van duidelijke saillantie-aanwijzingen, waardoor identificatie van opvallende tokens mogelijk is, zelfs in fasen met hoge ruis. Verder introduceren we een trajectrouteringsverlies om de toewijzing van rekenkracht gedurende het meerstaps ontruisingstraject te beperken, wat zorgt voor een nauwkeurige toewijzing van bronnen langs de generatie-uitrol. Uitgebreide experimenten tonen aan dat SharpMoE dient als een veelzijdige, plug-and-play-oplossing die de vooraf getrainde, geconvergeerde MoE-modellen verder verbetert en state-of-the-art prestaties in visuele generatie bereikt.
4D-handbewegingsreconstructie uit egocentrische video wordt belemmerd door duidelijke beperkingen van bestaande methoden: beeldgebaseerde pijplijnen zijn afhankelijk van een detector die faalt bij zware occlusie, terwijl videogebaseerde methoden vertrouwen op temporele modules die alleen zijn getraind op schaarse hand-pose annotaties, een smal signaal dat onvoldoende is om bewegingsdynamiek, occlusieredenering en hand-object interactie te modelleren. Deze vaardigheden zijn echter precies wat videogeneratieve modellen impliciet moeten verwerven wanneer ze worden getraind om coherente video op internetschaal te synthetiseren. Gemotiveerd door dit presenteren we ViDiHand, dat de representaties van een voorgetraind videodiffusiemodel benut om 4D tweehandige pose te reconstrueren. We passen het aan via een hand-overlay rendering doelstelling die de kenmerken specialiseert voor handen, terwijl de wereldpriors behouden blijven. Een decoder herstelt vervolgens een pose op metrische schaal uit de aangepaste kenmerken. De gehele pijplijn werkt direct op volledige frames – geen detector, geen invuller en geen optimalisatie tijdens het testen. Op ARCTIC, HOT3D en HOI4D presteert ViDiHand aanzienlijk beter dan eerdere methoden, waarmee videodiffusiemodellen worden gevestigd als een krachtig nieuw fundament voor handbewegingsreconstructie en een veelbelovende route naar schaalbare dataverzameling in het wild voor belichaamde AI. Projectpagina: https://vidihand.github.io.
Visie-Taal-Actie (VTA)-modellen maken instructiegestuurde robotmanipulatie mogelijk, maar erven overmatig grote taalbackbones van voorgetrainde VTA-modellen waarvan de capaciteit verreweg groter is dan nodig voor korte robotinstructies. Dit roept een fundamentele vraag op: hoeveel van een VTA-model is daadwerkelijk noodzakelijk voor closed-loop-regeling? In dit werk bestuderen we architectonische redundantie in VTA-modellen door het verwijderen van transformatorblokken als gecontroleerde interventie. We introduceren Drop-Then-Recovery (DTR), een analyseprotocol dat geselecteerde blokken uit een voorgetraind VTA-model verwijdert en vervolgens het resulterende model finetunet om te meten of de verwijderde capaciteit noodzakelijk was voor downstream-regeling. Om deze interventie betrouwbaar te maken, stellen we GateProbe voor, een eenmalige virtuele-poortgevoeligheidsmetriek die blokken rangschikt op basis van hun bijdrage aan het downstream-actieverlies. Bij verschillende VTA-architecturen, manipulatierichtlijnen en zelfs echte robots in industriële scenario's vinden we een sterke asymmetrie in herstelbaarheid na verwijdering: \textit{taalbackbones zijn zeer redundant voor standaard robotmanipulatietaken, terwijl visie- en actieroutes aanzienlijk minder tolerant zijn voor verwijdering}. Op LIBERO verbetert het verwijderen van de helft van de LLM-blokken zelfs OpenVLA-OFT van 95,0% naar 98,3% onder hetzelfde downstream-finetuningbudget, en het behouden van slechts twee taalblokken herstelt nog steeds de prestaties op basisniveau. Deze resultaten suggereren dat huidige VTA-richtlijnen beperkte druk uitoefenen op diepe taalverankering en compositioneel instructiebegrip, en dat toekomstige VTA-architecturen capaciteit meer doordacht moeten verdelen over taal-, visie- en actiecomponenten. De code is beschikbaar op https://github.com/s1ghhh/VLADrop.
Multi-agent systemen voor grote taalmodellen (LLM's) vertrouwen vaak op verifieer- en kritiekagenten om hallucinaties te onderdrukken, maar verificatie is vertraagd. Tijdens deze vertraging kunnen valse beweringen zich via het agentennetwerk verspreiden. We modelleren dit proces als vertraagde consensus op een graaf met verankerde correctorknooppunten. Spectrale decompositie door de verankerde Laplaciaan levert een gesloten-vorm stabiliteitsdrempel voor de verificatiedosis: correctie die te sterk of te vertraagd is, kan consensus in oscillatie veranderen. Het meest instabiele regime treedt op wanneer de communicatie- en verificatievertragingen samenvallen; voor vertraging twee is de drempel de inverse gulden snede. Hetzelfde raamwerk biedt een supermodulaire plaatsingsdoelstelling en een hebberige (1-1/e)-benaderingsregel voor het toewijzen van een beperkt correctorbudget aan invloedrijke knooppunten. Experimenten met vijf open modellen bevestigen de voorspelde dosis-vertragingsoscillaties. Daarentegen maakt verankerd feitelijk antwoorden de waarheid tot een absorberende grens en elimineert het effect, wat suggereert dat de instabiliteit specifiek is voor taken met getekende overtuigingen, terwijl verankerde verificatie stabiliserend blijft.
Recent werk heeft het potentieel aangetoond van grote taalmodellen (LLM's) voor programoptimalisatie, een belangrijke uitdaging in programmeertalen. We stellen een blackbox-aanpassingsmethode voor genaamd Retrieval Augmented Search (RAS) die een bundelzoektocht uitvoert over kandidaatoptimalisaties; bij elke stap wordt contextuele ophaling toegepast van contextvoorbeelden uit een gegeven trainingsdataset van langzame-snelle programmaparen om het LLM te begeleiden. Cruciaal is dat we vinden dat het uitvoeren van contextuele ophaling op basis van een door het LLM gegenereerde natuurlijke taal beschrijving significant beter presteert dan ophaling op basis van de broncode. We stellen ook AEGIS voor, een methode voor het verbeteren van interpreteerbaarheid door trainingsvoorbeelden te ontleden in 'atomaire bewerkingen' die van nature aanzienlijk incrementeleler zijn. We tonen aan dat RAS tot 2,06 keer beter presteert dan eerdere state-of-the-art blackbox-aanpassingsstrategieën bij het optimaliseren van C++-programma's, en dat AEGIS tot 1,37 keer beter presteert terwijl het aanzienlijk kleinere bewerkingen maakt. We tonen ook aan dat het gebruik van RAS de gemiddelde runtime percentiel van Python-programma's met 10,27 verbetert ten opzichte van basislijnen.
De vooruitgang van generatieve AI-modellen die in staat zijn tekst en beeld te produceren, markeert een cruciale stap voorwaarts op het gebied van multimodale intelligentie, met name voor taken waarbij beide modaliteiten door elkaar worden gebruikt. Om deze intelligentie naar de volgende fase te brengen, is het essentieel dat modellen autonoom vrijgevormde, interleaved tekst-beeldsequenties genereren. In dit artikel introduceren we ILLUME-X, een geavanceerd uniform multimodaal paradigma dat hoogwaardige, vrijgevormde interleaved tekst-beeldgeneratie mogelijk maakt door de multimodale data-efficiëntie te verbeteren en het multimodale trainingsproces te stabiliseren. ILLUME-X omvat drie kerncomponenten: (i) een uitgebreide trainingsdata-pijplijn geoptimaliseerd voor interleaved tekst-beeldgeneratie, (ii) een progressieve trainingsstrategie met zelfadaptieve doelstellingen voor multimodale tokenreeksen van vrije lengte, en (iii) een objectieve en uitgebreide evaluatiemethode ILScore voor interleaved tekst-beeldsequenties. Opmerkelijk is dat onze ILLUME-X beter presteert dan eerdere uniforme modellen in diverse interleaved tekst-beeldgeneratietaken zoals stijloverdracht, beelddecompositie en verhalen vertellen.
Zelfbotsing blijft een aanhoudende uitdaging in SMPL-gebaseerde menselijke poseschatting en bewegingsgeneratie. Bij extreme articulaties of stochastische bewegingssynthese vertonen gegenereerde meshes vaak zelfpenetraties, wat leidt tot fysisch onwaarschijnlijke resultaten. Wij stellen PoseShield voor, een neurale botsingsbeperking die direct in de SMPL-poseruimte is gedefinieerd. We formuleren botsingscorrectie als een beperkt optimalisatieprobleem en verbinden de geleerde beperking met de Eikonal-vergelijking. Het afdwingen van Eikonal-regularisatie zorgt voor niet-verdwijnende gradiënten nabij de botsingsgrens, wat de numerieke stabiliteit en robuustheid van het optimalisatieproces verbetert. In tegenstelling tot eerdere methoden die in de mesh-ruimte werken of vertrouwen op heuristische straffen, werkt onze aanpak direct in de laagdimensionale ruimte van menselijke poses en is theoretisch onderbouwd. Dezelfde geleerde beperking breidt zich uit naar menselijke bewegingsreeksen, en biedt een generator-agnostische post-hoc botsingscorrector zonder het onderliggende bewegingsmodel opnieuw te trainen. Experimenten op een nieuw geconstrueerde SMPL-posesbenchmark tonen aan dat onze methode een slagingspercentage van 95,8% behaalt en de state-of-the-art basislijnen overtreft.
Huidige modellen van representatiebetrouwbaarheid in neuronale populaties richten zich op temporele stabiliteit: of populatiecentroïden behouden blijven over sessies en dagen heen. Dit kader laat een fundamentele vraag onbeantwoord: hoe betrouwbaar reproduceert de paarsgewijze afstandsstructuur tussen stimuli over onafhankelijke waarnemingen binnen een sessie? Wij betogen dat deze eigenschap, geometrische stabiliteit, een onafhankelijke as van representatieanalyse vormt die bestaande kaders niet vatten. We formaliseren geometrische stabiliteit als de Spearman-rangcorrelatie tussen split-half representatieverschilmatrices (Shesha) en tonen aan dat het empirisch dissocieerbaar is van zowel temporele stabiliteit als decodeernauwkeurigheid. Over 229 gebied-sessie observaties verspreid over 68 hersengebieden in een visuele discriminatietaak (Steinmetz et al. 2019), voorspelt geometrische stabiliteit trial-by-trial neurale-gedragskoppeling (ρ=0,18, p=0,005) terwijl centroïde drift dat niet doet (ρ=0,002, p=0,976). De regionale hiërarchie, met striatum het meest stabiel (S=0,44) en hippocampus het minst (S=0,19), verloopt ruwweg tegengesteld aan de temporele stabiliteitshiërarchie. Richtingsconsistente olfactorische gegevens (Bolding & Franks 2018) motiveren een attractornetwerkmodel waarin terugkerende excitatoire koppeling split-half RDM-consistentie versterkt door stimuluspatronen te completeren vanuit spaarzame feedforward-input (ρ=+0,64, p=0,010), wat een circuitniveau-verklaring biedt van hoe geometrische stabiliteit ontstaat. Deze resultaten vestigen geometrische stabiliteit als een functioneel relevante, circuitafhankelijke eigenschap van neuronale populatiecodes, orthogonaal aan temporele driftmaten en complementair aan recente beschouwingen van hoe terugkerende connectiviteit representatiestabiliteit balanceert met sequentiële dynamiek in hippocampale circuits.
We onderzoeken actie-geconditioneerde wereldmodellering als een schaalbare manier om overdraagbare dynamische priori's voor robotleren te leren. Door een model vooraf te trainen om te voorspellen hoe acties de visuele scène-evolutie aansturen, legt het resulterende wereldmodel herbruikbare interactiedynamica vast die verder gaat dan uiterlijk-niveau videogeneratie. Concreet trainen we een multi-view interactief basis diffusie wereldmodel, A2World, vooraf op grootschalige robotmanipulatiedata met echte actieannotaties. We valideren de geleerde dynamische priori's vanuit twee complementaire perspectieven. Ten eerste passen we A2World aan tot een taak- of scènespecifieke realistische simulator, A2World-sim, waarvan de lange-termijn rollouts simulator-gebaseerde beleidsevaluatie en schaalbare wat-als-analyse ondersteunen door echte robotrollouts te vervangen door wereldmodelrollouts. Ten tweede passen we A2World, uitgaande van dezelfde voorgetrainde gewichten, aan tot een video-actie gezamenlijk voorspellingsmodel, A2World-policy, dat acties voorspelt onder visuele en instructieconditionering. Experimenten met simulatiebenchmarks en echte robotomgevingen tonen aan dat actie-geconditioneerde wereldmodel-pretraining overdraagbare dynamische priori's oplevert die zowel simulator-centrisch als beleid-centrisch robotleren ten goede komen.
Hoewel tekstgestuurde beeldbewerking opmerkelijke vooruitgang heeft geboekt, blijft deze beperkt in structurele portretretouche. Tekstuele beschrijvingen kunnen fijnmazige wijzigingen aan gelaatstrekken en lichaamsverhoudingen niet goed overbrengen. Om deze lacune aan te pakken, introduceren we op exemplaren gebaseerde portretfotoretouche, waarbij het model een exemplaarpaar krijgt en de taak heeft dezelfde retouche-bewerkingen af te leiden en toe te passen op een nieuwe query-afbeelding. Bestaande op exemplaren gebaseerde bewerkingsmethoden richten zich voornamelijk op taken met uitgesproken visuele transformaties. Daarentegen omvat structurele portretretouche uiterst delicate en gelokaliseerde modificaties, waardoor het nauwkeurig extraheren en overdragen van deze bewerkingen uitdagend is. Om dit aan te pakken, stellen we MirrorPPR voor, een nieuw raamwerk dat is ontworpen om subtiele structurele retouche-bewerkingen vast te leggen en over te dragen. Onze methode gebruikt een Retouching Operation Extractor om de subtiele verschillen uit het exemplaarpaar te extraheren. De geëxtraheerde representaties worden vervolgens via een connector en Low-Rank Adaptation (LoRA)-modules geïnjecteerd in een voorgetrainde Diffusion Transformer (DiT). Bovendien wordt het construeren van perfect uitgelijnde cross-identiteit trainingsparen ernstig belemmerd door operationele misalignering. Om dit te overwinnen, stellen we een geavanceerd data-zelfaugmentatieparadigma voor dat strikt uitgelijnde retouche-bewerkingen waarborgt. Om dataschaarste te verlichten en deze nieuwe taak te ondersteunen, introduceren we MirrorPPR47M, een grootschalige dataset met meer dan 47 miljoen geretoucheerde paren. Door de dataset te structureren in gesimuleerde en professionele subsets, stellen we progressief curriculumleren in staat om het netwerk soepel te optimaliseren. Uitgebreide experimenten tonen aan dat MirrorPPR aanzienlijk beter presteert dan bestaande basislijnen, zowel in retouchekwaliteit als in identiteitsbehoud. De projectpagina is beschikbaar op https://sjtu-deng-lab.github.io/MirrorPPR.
Een betrouwbare 3D-wereldrepresentatie moet rekening houden met gelaagde geometrie, waarbij een enkele camerastraal meerdere zichtbare en geometrisch geldige oppervlakken kan bevatten. Monoculaire diepteschatting reduceert deze structuur echter tot één scalaire diepte per pixel. Transparante scènes maken deze ambiguïteit meetbaar: dezelfde straal kan door voorgrondglas gaan en de achtergrond waarnemen, waardoor het gesuperviseerde doelwit een conventie wordt van annotatie, data en training in plaats van een intrinsieke waarheid van de scène. Een aangeleerde voorspeller onthult deze conventie als zijn dieptelaagvoorkeur. We introduceren MultiDepth-3k (MD-3k), een schaarse tweelaagse ordinale benchmark voor het meten van dieptelaagvoorkeur en nauwkeurigheid van meerlaagse ruimtelijke relaties (ML-SRA). Op MD-3k vertonen toonaangevende dieptefundatiemodellen uiteenlopende laagvoorkeuren onder standaard RGB-invoer, wat aantoont dat dezelfde gelaagde geometrie op verschillende manieren kan worden opgelost door verschillende modellen. Verder vinden we dat Laplacian Visual Prompting (LVP), een trainingsvrije spectrale invoertransformatie, de gerapporteerde laag aanzienlijk kan veranderen voor bepaalde bevroren modellen. Het sterkste RGB/LVP-paar, DAv2-L, bereikt 75,5% ML-SRA. Deze resultaten suggereren dat dieptefundatiemodellen complementaire geometrische hypothesen kunnen uitdrukken die standaard RGB-inferentie onuitgedrukt laat. We nodigen de gemeenschap uit om dieptesupervisie en -evaluatie te heroverwegen door een ambiguïteitsbewuste lens, waarbij meerdere geldige 3D-interpretaties worden behandeld als geometrische structuur die moet worden gemeten, behouden en uitgedrukt.
Fine-tuning op onschadelijke data kan gedragingen die eerder in de training zijn verworven gedeeltelijk ongedaan maken. Veiligheid kan worden aangetast onder onschuldige updates na uitlijning, verloren vaardigheden kunnen opnieuw opduiken, latente eigenschappen kunnen worden overgedragen via schijnbaar niet-gerelateerde supervisie, en gerelateerde kwetsbaarheid na uitlijning komt voor in andere generatieve settings. Wij stellen dat deze fenomenen nuttig kunnen worden bekeken door een gemeenschappelijke trainingsgeschiedenislens. Onze hypothese is geometrisch: grote vroege trainingsfasen creëren dominante gedragsmanifolds, terwijl latere uitlijnings- of specialisatiefasen ondiepere verschuivingen daarvan zijn. Daaropvolgende fine-tuning kan daardoor een persistente terugkeringscomponent erven die terugwijst naar een getuige van het dominante manifold. We noemen dit de gravitatie-interpretatie van fine-tuning-reversie. In onze belangrijkste settings verkrijgt representatiedrift snel een component langs een door de geschiedenis gedefinieerde omkeerrichting (v_rev). In onze hoofdsetting stijgt de uitlijning met v_rev van cos = 0,429 ± 0,052 na de eerste update naar 0,647 ± 0,021 bij stap 20. Over 24 run-stap-paren heen overschrijdt elke waargenomen uitlijning het p99-percentiel van een isotrope null in de activatieruimte. We tonen aan dat het selectief blokkeren van beweging langs v_rev de uiteindelijke uitlijning bij T=100 verandert van 0,648 ± 0,009 naar -0,211 ± 0,021 en de schadelijkheid reduceert van 19,0% ± 4,0% naar 8,5% ± 1,5%, met weinig taakkosten. Deze resultaten ondersteunen v_rev als een causaal relevante mediator van vroege post-uitlijningsreversie in onze opstelling. Belangrijk is dat we niet beweren dat v_rev de unieke veiligheidsrichting is, noch dat het dominante manifold direct wordt waargenomen; we identificeren eerder een robuuste, door de geschiedenis gedefinieerde richting die de vroege reversiedynamiek verklaart en gedeeltelijk controleert.
Inspectie van waterkrachttunnels is essentieel voor de integriteit van infrastructuur, maar blijft inefficiënt en gevaarlijk bij gebruik van handmatige methoden. Wij stellen FLISP (Fast LiDAR-IMU Synchronized Path Planner) voor, een kaartloos planningsraamwerk voor samenwerkende UGV-UAV-inspectie. In tegenstelling tot traditionele kaartgebaseerde paradigma's heeft FLISP drie kernbijdragen: (1) een uniforme architectuur waarbij één aan de UGV gemonteerde LiDAR-IMU-suite de gesynchroniseerde padgeneratie voor beide platforms aanstuurt; (2) platformspecifieke oplossers die gebruikmaken van een verbeterd Firefly-algoritme voor obstakelvermijding van de UGV en een dynamische iteratieve optimalisator voor UAV-vlucht; en (3) een hiërarchische verfijningsstrategie die kinematische haalbaarheid waarborgt zonder schattingsdrift van de toestand. Benchmarks in een operationele tunnel van 1,2 km tonen aan dat FLISP structurele knelpunten van kaartgebaseerde methoden omzeilt, waardoor de overhead van kaartrasterisatie (Fast-LIO2 + A*) en bemonsteringsinstabiliteit (LIO-SAM + RRT*) wordt geëlimineerd. FLISP behaalt een slagingspercentage van 100% met een latentie van 7 ms, wat een versnelling van 7 keer oplevert ten opzichte van rastergebaseerde basislijnen en een verbetering van drie ordes van grootte ten opzichte van bemonsteringsgebaseerde basislijnen. Geverifieerd in operationele waterkrachttunnels biedt deze aanpak een schaalbare oplossing voor robotische inspectie in kenmerk-gedegradeerde lineaire infrastructuur. Een demonstratievideo is beschikbaar op https://youtu.be/Y_ezs1PfLJ4, en de code op https://github.com/ArchibaldGuo/FLISP.git.
Voorgetrainde Vision Foundation Modellen (VFM's) zijn centraal komen te staan in moderne computervisie vanwege hun krachtige semantische representaties en sterke generalisatievermogen. Hun patch-gebaseerde of gepoolde uitvoer is echter inherent laag in resolutie, wat hun effectiviteit beperkt in taken die fijnmazige, pixel-niveau redenering vereisen. Bestaande benaderingen voor kenmerkopwaardering verminderen de semantische betrouwbaarheid of zijn afhankelijk van VFM-specifieke hertraining en zware architecturen, wat de efficiëntie en schaalbaarheid belemmert. Om deze uitdagingen aan te pakken, stellen we RaysUp voor, een ultralicht, taakonafhankelijk en VFM-onafhankelijk raamwerk voor kenmerkopwaardering dat kenmerken op hoge resolutie reconstrueert bij willekeurige resoluties. In tegenstelling tot conventionele 2D-interpolatie of aandachtsgebaseerde schema's tilt RaysUp kenmerkreconstructie naar een geometriebewust stralendomein. Specifiek introduceren we een Ruimtelijk Ontkoppelde Geleidingsencoder voor richtingsbewuste geleidingscodering, een Willekeurige-Resolutie Kruisaandachtmechanisme voor resolutieflexibele reconstructie, en een nieuwe Stralenpositiecodering (RayPE) die impliciete 3D-geometrische voorkennis injecteert via 6D Plücker-straalcoördinaten. Ten slotte zorgt een Geometriebewuste Buurtaandachtmodule voor inhoudadaptieve bilaterale aggregatie met behoud van geometrische consistentie. Uitgebreide experimenten over diverse dichte voorspellingstaken tonen aan dat RaysUp de nieuwste prestaties levert terwijl het slechts 16% van de parameters van AnyUp gebruikt en ongeveer 7x snellere inferentie levert. Deze resultaten benadrukken een aanzienlijk verbeterde nauwkeurigheid-efficiëntie afweging en vestigen RaysUp als een praktische en schaalbare oplossing voor universele kenmerkopwaardering. Code is beschikbaar op https://github.com/MAP-RaysUp/RaysUp.
Representatie-afstemming is naar voren gekomen als een effectieve aanpak om Multimodale Grote Taalmodellen (MLLM's) te verbeteren door hun interne representaties te regulariseren naar die van een externe visie-encoder. Bestaande methoden stemmen echter doorgaans een vaste laag van de taalbackbone af, waarbij de fijnmazige structuur van Transformermodellen wordt genegeerd. In dit werk stellen we Head-Wise Representation Alignment (HeRA) voor, een methode die crossmodale afstemming afdwingt op het niveau van individuele aandachtskoppen. Onze benadering is gegrond in de Platonische Representatiehypothese, met de focus op het behouden van de topologische structuur van representaties (d.w.z. hun lokale buurrelaties) over modaliteiten heen. Volgend op de Mutual K-Nearest Neighbor (MKNN)-afstemmingsmetriek introduceren we een contrastief doel dat fungeert als een differentieerbare proxy voor het matchen van lokale structuren. HeRA past dit doel toe tijdens multimodale training op specifieke aandachtskoppen in het LLM, geselecteerd op basis van hun afstemmingsscore volgens de MKNN-metriek. Tegenintuïtief ontdekken we dat het afstemmen van de minst afgestemde koppen de grootste winst oplevert. Uitgebreide evaluaties over meerdere MLLM's en 18 benchmarks tonen aan dat HeRA consistent de prestaties op uitdagende visie-gerichte taken verbetert en dient als een effectieve regularisator tegen visuele hallucinaties door van nature de overmatige afhankelijkheid van linguïstische priori's in te perken. Onze code is openbaar beschikbaar gesteld.