Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Sparse-Linear Attention (SLA) combineert sparse en lineaire aandacht om diffusiemodellen te versnellen en heeft sterke prestaties getoond in videogeneratie. Echter, (i) SLA vertrouwt op een heuristische splitsing die berekeningen toewijst aan de sparse of lineaire tak op basis van de grootte van de aandachtswaarden, wat suboptimaal kan zijn. Daarnaast identificeren we (ii) na een formele analyse van de aandachtfout in SLA een mismatch tussen SLA en een directe ontbinding in sparse en lineaire aandacht. Wij stellen SLA² voor, dat (I) een leerbare router introduceert die dynamisch selecteert of elke aandachtberekening sparse of lineaire aandacht moet gebruiken, (II) een meer getrouwde en directe sparse-lineaire aandachtformulering die een leerbare ratio gebruikt om de sparse en lineaire takken te combineren, en (III) een sparse + low-bit aandachtontwerp, waarbij low-bit aandacht wordt geïntroduceerd via quantization-aware fine-tuning om de kwantiseringsfout te verminderen. Experimenten tonen aan dat SLA² bij videodiffusiemodellen 97% attentiesparsheid kan bereiken en een 18,6x versnelling van de aandacht levert, waarbij de generatiekwaliteit behouden blijft.
De prestaties van autonome Web GUI-agenten zijn sterk afhankelijk van de kwaliteit en hoeveelheid van hun trainingsdata. Er blijft echter een fundamenteel knelpunt bestaan: het verzamelen van interactietrajecten van echte websites is kostbaar en moeilijk te verifiëren. De onderliggende toestandsovergangen zijn verborgen, wat leidt tot een afhankelijkheid van inconsistente en kostbare externe verificatiemiddelen om de correctheid op stapniveau te evalueren. Om dit aan te pakken, stellen we AutoWebWorld voor, een nieuw raamwerk voor het synthetiseren van controleerbare en verifieerbare webomgevingen door ze te modelleren als eindige toestandsautomaten (FSM's) en codeeragenten te gebruiken om FSM's om te zetten in interactieve websites. In tegenstelling tot echte websites, waar toestandsovergangen impliciet zijn, definieert AutoWebWorld expliciet alle toestanden, acties en overgangsregels. Dit maakt programmatische verificatie mogelijk: de correctheid van acties wordt gecontroleerd aan de hand van vooraf gedefinieerde regels, en taaksucces wordt bevestigd door het bereiken van een doeltoestand in de FSM-grafiek. AutoWebWorld maakt een volledig geautomatiseerde zoek-en-verifieer-pijplijn mogelijk, die meer dan 11.663 geverifieerde trajecten genereert uit 29 diverse webomgevingen tegen slechts $0,04 per traject. Training op deze synthetische data verbetert de prestaties in de echte wereld aanzienlijk. Onze 7B Web GUI-agent presteert beter dan alle baseline-methoden binnen 15 stappen op WebVoyager. Verder observeren we een duidelijke schaalwet: naarmate het volume aan synthetische data toeneemt, verbetert de prestatie op WebVoyager en Online-Mind2Web consistent.
Ondanks de snelle vooruitgang in multimodale foundation-modellen, ontbreekt het de embodied intelligence-gemeenschap nog steeds aan een uniform, fysiek onderbouwd foundation-model dat perceptie, redeneren en planning integreert binnen real-world ruimtelijk-temporele dynamiek. Wij introduceren RynnBrain, een open-source ruimtelijk-temporeel foundation-model voor embodied intelligence. RynnBrain versterkt vier kerncapaciteiten in een uniform raamwerk: uitgebreid egocentrisch begrip, diverse ruimtelijk-temporele lokalisatie, fysiek onderbouwd redeneren en fysica-bewuste planning. De RynnBrain-familie omvat drie foundation-model schalen (2B, 8B en 30B-A3B MoE) en vier nage-trainde varianten afgestemd op downstream embodied taken (d.w.z. RynnBrain-Nav, RynnBrain-Plan en RynnBrain-VLA) of complexe ruimtelijke redeneertaken (d.w.z. RynnBrain-CoP). In uitgebreide evaluaties op 20 embodied benchmarks en 8 algemene visuele begrip benchmarks, overtreffen onze RynnBrain foundation-modellen bestaande embodied foundation-modellen met een aanzienlijke marge. De nage-trainde modelreeks onderstreept verder twee belangrijke potenties van het RynnBrain foundation-model: (i) het mogelijk maken van fysiek onderbouwd redeneren en plannen, en (ii) het dienen als een sterke vooraf getrainde backbone die efficiënt kan worden aangepast aan diverse embodied taken.
Computer-Aided Design (CAD) biedt snelle, bewerkbare modellering voor engineering en productie. Recente vooruitgang in AI maakt nu volledige automatisering haalbaar voor diverse CAD-taken. De vooruitgang wordt echter belemmerd door een dataknelpunt: openbare corpora bevatten voornamelijk schets-extrude-reeksen, ontberen complexe bewerkingen, compositie van meerdere bewerkingen en ontwerpintentie, wat effectieve fine-tuning belemmert. Pogingen om dit te omzeilen met bevroren VLMs leveren vaak eenvoudige of ongeldige programma's op vanwege beperkte 3D-verankering in huidige foundation-modellen. Wij presenteren CADEvolve, een op evolutie gebaseerde pijplijn en dataset die start vanuit eenvoudige primitieven en, via VLM-gestuurde bewerkingen en validaties, incrementeel CAD-programma's laat groeien naar industriële complexiteit. Het resultaat is 8k complexe onderdelen uitgedrukt als uitvoerbare CadQuery parametrische generators. Na multi-stapse nabewerking en augmentatie verkrijgen we een uniforme dataset van 1,3 miljoen scripts, gekoppeld aan gerenderde geometrie en gebruikmakend van de volledige CadQuery-bewerkingsset. Een VLM die op CADEvolve is gefinetuned behaalt state-of-the-art resultaten voor de Image2CAD-taak across de DeepCAD, Fusion 360 en MCB benchmarks.
Visuele loco-manipulatie van willekeurige objecten in ongestructureerde omgevingen met humanoïde robots vereist nauwkeurige eindeffector (EE)-regeling en een generaliseerbaar begrip van de scène via visuele invoer (bijv. RGB-D-beelden). Bestaande benaderingen zijn gebaseerd op imitation learning in de echte wereld en vertonen beperkte generalisatie door de moeilijkheid om grootschalige trainingsdatasets te verzamelen. Dit artikel presenteert een nieuw paradigma, HERO, voor object-locomotie-manipulatie met humanoïde robots dat de sterke generalisatie en open-vocabulary-begrip van grote vision-modellen combineert met sterke regelprestaties uit gesimuleerde training. Wij bereiken dit door een nauwkeurig residual-aware EE-volgbeleid te ontwerpen. Dit EE-volgbeleid combineert klassieke robotica met machine learning. Het gebruikt a) inverse kinematica om residuele eindeffector-doelen om te zetten in referentietrajecten, b) een geleerd neuraal voorwaarts model voor nauwkeurige voorwaartse kinematica, c) doelaanpassing en d) herplanning. Gezamenlijk helpen deze innovaties ons de eindeffector-volgfout met 3,2x te verminderen. Wij gebruiken deze nauwkeurige eindeffector-volger om een modulair systeem voor loco-manipulatie te bouwen, waarbij wij open-vocabulary grote vision-modellen gebruiken voor sterke visuele generalisatie. Ons systeem kan functioneren in diverse real-world omgevingen, van kantoren tot coffeeshops, waar de robot in staat is diverse alledaagse objecten (bijv. mokken, appels, speelgoed) betrouwbaar te manipuleren op oppervlakken met hoogtes variërend van 43cm tot 92cm. Systematische modulaire en end-to-end tests in simulatie en de echte wereld demonstreren de effectiviteit van onze voorgestelde ontwerpaanpak. Wij geloven dat de vooruitgang in dit artikel nieuwe manieren kan openen om humanoïde robots te trainen om te interageren met dagelijkse objecten.
Het bereiken van samenwerking tussen zelfbelang-gedreven agents blijft een fundamentele uitdaging in multi-agent reinforcement learning. Recent onderzoek toonde aan dat wederzijdse samenwerking kan worden geïnduceerd tussen "leerbewuste" agents die rekening houden met en de leer dynamiek van hun medespelers beïnvloeden. Bestaande benaderingen steunen echter typisch op hardgecodeerde, vaak inconsistente, aannames over de leerregels van medespelers of leggen een strikte scheiding op tussen "naïeve leerders" die op snelle tijdschalen updaten en "meta-leerders" die deze updates observeren. Hier tonen we aan dat de in-context leercapaciteiten van sequentiemodellen leerbewustzijn ten opzichte van medespelers mogelijk maken zonder hardgecodeerde aannames of expliciete tijdschaalscheiding. We laten zien dat het trainen van sequentiemodel-agenten tegen een diverse verdeling van medespelers van nature in-context best-response strategieën induceert, die effectief functioneren als leeralgoritmen op de snelle intra-episode tijdschaal. We ontdekken dat het coöperatieve mechanisme dat in eerder werk werd geïdentificeerd – waarbij kwetsbaarheid voor afpersing wederzijdse beïnvloeding aandrijft – van nature opkomt in deze setting: in-context aanpassing maakt agents kwetsbaar voor afpersing, en de resulterende wederzijdse druk om de in-context leer dynamiek van de tegenstander te beïnvloeden lost op in het aanleren van coöperatief gedrag. Onze resultaten suggereren dat standaard gedecentraliseerd reinforcement learning op sequentiemodellen, gecombineerd met diversiteit onder medespelers, een schaalbare weg biedt naar het aanleren van coöperatieve gedragingen.
Wij introduceren de Massive Audio Embedding Benchmark (MAEB), een grootschalige benchmark die 30 taken omvat op het gebied van spraak, muziek, omgevingsgeluiden en cross-modale audio-tekst redenering in 100+ talen. We evalueren 50+ modellen en constateren dat geen enkel model dominant is over alle taken: contrastieve audio-tekstmodellen excelleren in de classificatie van omgevingsgeluiden (bijv. ESC50), maar scoren bijna willekeurig op meertalige spraaktaken (bijv. SIB-FLEURS), terwijl op spraak voorgetrainde modellen het omgekeerde patroon vertonen. Clustering blijft voor alle modellen een uitdaging, waarbij zelfs het best presterende model slechts bescheiden resultaten behaalt. We observeren dat modellen die uitblinken in akoestisch begrip vaak slecht presteren op linguïstische taken, en vice versa. We tonen ook aan dat de prestaties van audio-encoders op MAEB sterk correleren met hun prestaties wanneer ze worden gebruikt in audio large language models. MAEB is afgeleid van MAEB+, een verzameling van 98 taken. MAEB is ontworpen om taakdiversiteit te behouden terwijl de evaluatiekosten worden verlaagd, en het integreert in het MTEB-ecosysteem voor uniforme evaluatie over tekst-, beeld- en audiomodaliteiten. We brengen MAEB en alle 98 taken uit, samen met code en een leaderboard, op https://github.com/embeddings-benchmark/mteb.
Standaard feitelijkheidsevaluaties van LLM's behandelen alle fouten als gelijkwaardig, waardoor onduidelijk blijft of fouten voortkomen uit ontbrekende kennis ('lege planken') of uit beperkte toegang tot gecodeerde feiten ('verloren sleutels'). Wij stellen een gedragsraamwerk voor dat feitelijke kennis profileert op het niveau van feiten in plaats van vragen, waarbij elk feit wordt gekarakteriseerd door of het is gecodeerd, en vervolgens door hoe toegankelijk het is: niet kan worden opgehaald, direct kan worden opgehaald, of alleen kan worden opgehaald met berekeningen tijdens de inferentie ('denken'). Om dergelijke profilering te ondersteunen, introduceren we WikiProfile, een nieuwe benchmark die is geconstrueerd via een geautomatiseerde pijplijn met een geprompte LLM ondersteund door webzoekopdrachten. Uit meer dan 4 miljoen antwoorden van 13 LLM's blijkt dat codering bij topmodellen op onze benchmark bijna verzadigd is, waarbij GPT-5 en Gemini-3 95-98% van de feiten coderen. Toegankelijkheid blijft echter een grote bottleneck: veel fouten die voorheen werden toegeschreven aan ontbrekende kennis, blijken voort te komen uit het niet kunnen toegang krijgen tot die kennis. Deze fouten zijn systematisch en treffen onevenredig vaak feiten uit de lange staart en omgekeerde vragen. Ten slotte tonen we aan dat denken de toegankelijkheid verbetert en een aanzienlijk deel van de fouten kan herstellen, wat aangeeft dat toekomstige winst mogelijk minder afhangt van schaalvergroting en meer van methoden die verbeteren hoe modellen gebruikmaken van wat ze al gecoderd hebben.
State-of-the-art Vision-Language-Action (VLA)-modellen blinken uit in semantische generalisatie, maar hebben moeite om te generaliseren naar onbekende fysieke bewegingen in nieuwe omgevingen. Wij introduceren DreamZero, een World Action Model (WAM) gebouwd op een voorgetrainde video-diffusie-backbone. In tegenstelling tot VLA's leren WAM's fysieke dynamiek door toekomstige wereldstatussen en acties te voorspellen, waarbij video wordt gebruikt als een dichte representatie van hoe de wereld evolueert. Door video en actie gezamenlijk te modelleren, leert DreamZero effectief diverse vaardigheden aan van heterogene robotgegevens, zonder afhankelijk te zijn van repetitieve demonstraties. Dit resulteert in een meer dan 2x verbetering in generalisatie naar nieuwe taken en omgevingen vergeleken met state-of-the-art VLA's in echte robotexperimenten. Cruciaal is dat we, door model- en systeemoptimalisaties, een autoregressief video-diffusiemodel van 14B in staat stellen real-time closed-loop controle uit te voeren op 7Hz. Ten slotte demonstreren we twee vormen van cross-embodiment transfer: demonstraties met alleen video van andere robots of mensen leveren een relatieve verbetering van meer dan 42% op in de prestaties van onbekende taken met slechts 10-20 minuten aan gegevens. Verrassender nog stelt DreamZero few-shot embodiment-aanpassing mogelijk, waarbij het met slechts 30 minuten speelgegevens naar een nieuwe embodiment wordt overgedragen, terwijl de zero-shot generalisatie behouden blijft.
AI-agenten worden steeds vaker ingezet voor het uitvoeren van belangrijke taken. Hoewel stijgende nauwkeurigheidsscores op standaardbenchmarks snelle vooruitgang suggereren, falen veel agenten in de praktijk nog steeds. Deze discrepantie benadrukt een fundamentele beperking van huidige evaluaties: het comprimeren van agentgedrag tot een enkele succescategorie verhult kritieke operationele tekortkomingen. Met name wordt genegeerd of agenten consistent gedrag vertonen over verschillende runs, verstoringen kunnen weerstaan, voorspelbaar falen, of een begrensde foutgevoeligheid hebben. Geworteld in veiligheidskritieke engineering bieden wij een holistisch prestatieprofiel door twaalf concrete metrieken voor te stellen die de betrouwbaarheid van agenten ontleden langs vier cruciale dimensies: consistentie, robuustheid, voorspelbaarheid en veiligheid. Door 14 agentmodellen te evalueren over twee complementaire benchmarks, constateren wij dat recente vermogenswinsten slechts kleine verbeteringen in betrouwbaarheid hebben opgeleverd. Door deze hardnekkige beperkingen bloot te leggen, complementeren onze metrieken traditionele evaluaties en bieden zij instrumenten om te redeneren over hoe agenten presteren, afnemen in kwaliteit en falen.
Snelle-gewichten-architecturen bieden een veelbelovend alternatief voor op aandacht gebaseerde transformers voor modellering met lange context door een constant geheugengebruik te handhaven, ongeacht de contextlengte. Hun potentieel wordt echter beperkt door het next-token prediction (NTP) trainingsparadigma. NTP optimaliseert voorspellingen per enkel token en negeert semantische samenhang over meerdere tokens na een prefix. Hierdoor leren snelle-gewichten-modellen, die hun parameters dynamisch bijwerken om contextuele informatie op te slaan, suboptimale representaties aan die geen langere-afstandsafhankelijkheden vastleggen. Wij introduceren REFINE (Reinforced Fast weIghts with Next sEquence prediction), een raamwerk voor reinforcement learning dat snelle-gewichten-modellen traint met het next-sequence prediction (NSP) doel. REFINE selecteert informatieve tokenposities op basis van voorspellingsentropie, genereert multi-token rollouts, kent zelf-gesuperviseerde reeksniveau-beloningen toe en optimaliseert het model met group relative policy optimization (GRPO). REFINE is toepasbaar gedurende de volledige trainingslevenscyclus van vooraf getrainde taalmodellen: midden-in-de-training, na-de-training en training-tijdens-het-testen. Onze experimenten met LaCT-760M en DeltaNet-1.3B tonen aan dat REFINE consistent beter presteert dan supervised fine-tuning met NTP voor taken zoals needle-in-a-haystack retrieval, vraag-antwoordtaken met lange context en diverse taken in LongBench. REFINE biedt een effectief en veelzijdig raamwerk voor het verbeteren van lange-contextmodellering in snelle-gewichten-architecturen.
Wij introduceren SAM 3D Body (3DB), een promptbaar model voor het herstellen van een volledig 3D-menselijk maaswerk (HMR) vanuit een enkele afbeelding, dat state-of-the-art prestaties demonstreert met sterke generalisatie en consistente nauwkeurigheid onder diverse real-world omstandigheden. 3DB schat de menselijke houding van het lichaam, de voeten en de handen. Het is het eerste model dat een nieuwe parametrische maasweergave gebruikt, Momentum Human Rig (MHR), die de skeletstructuur en de oppervlaktevorm ontkoppelt. 3DB maakt gebruik van een encoder-decoder architectuur en ondersteunt aanvullende prompts, waaronder 2D-sleutelpunten en maskers, wat gebruikersgestuurde inferentie mogelijk maakt, vergelijkbaar met de SAM-familie van modellen. Wij verkrijgen hoogwaardige annotaties via een pijplijn voor meerfasenannotatie die verschillende combinaties gebruikt van handmatige sleutelpuntannotatie, differentieerbare optimalisatie, multi-view geometrie en detectie van dichte sleutelpunten. Onze data-engine selecteert en verwerkt gegevens efficiënt om gegevensdiversiteit te waarborgen, waarbij ongebruikelijke houdingen en zeldzame beeldvormingsomstandigheden worden verzameld. Wij presenteren een nieuwe evaluatiedataset, georganiseerd volgens houdings- en uiterlijkcategorieën, die een genuanceerde analyse van modelgedrag mogelijk maakt. Onze experimenten tonen superieure generalisatie en substantiële verbeteringen ten opzichte van eerdere methoden aan, zowel in kwalitatieve gebruikersvoorkeurstudies als in traditionele kwantitatieve analyses. Zowel 3DB als MHR zijn open-source.
Moderne AI-agenten zijn krachtig, maar slagen er vaak niet in om af te stemmen op de idiosyncratische, evoluerende voorkeuren van individuele gebruikers. Eerdere benaderingen zijn typisch afhankelijk van statische datasets, waarbij ofwel impliciete voorkeursmodellen worden getraind op interactiegeschiedenis, ofwel gebruikersprofielen worden gecodeerd in extern geheugen. Deze benaderingen hebben echter moeite met nieuwe gebruikers en met voorkeuren die in de loop van de tijd veranderen. Wij introduceren Personalized Agents from Human Feedback (PAHF), een raamwerk voor continue personalisatie waarin agenten online leren van live-interactie met behulp van expliciet, per gebruiker geheugen. PAHF operationaliseert een drie-stappenlus: (1) het vragen om opheldering vóór een actie om ambiguïteit op te lossen, (2) het verankeren van acties in voorkeuren die uit het geheugen worden opgehaald, en (3) het integreren van feedback na een actie om het geheugen bij te werken wanneer voorkeuren verschuiven. Om deze capaciteit te evalueren, ontwikkelen we een vierfasenprotocol en twee benchmarks in 'embodied manipulation' en online winkelen. Deze benchmarks kwantificeren het vermogen van een agent om initiële voorkeuren vanaf nul te leren en vervolgens aan te passen aan persona-verschuivingen. Onze theoretische analyse en empirische resultaten tonen aan dat de integratie van expliciet geheugen met dubbele feedbackkanalen cruciaal is: PAHF leert aanzienlijk sneller en presteert consistent beter dan zowel baseline-modellen zonder geheugen als met enkelvoudige kanalen, waardoor de initiële personalisatiefout wordt verminderd en snelle aanpassing aan voorkeursverschuivingen mogelijk wordt.
Distribution Matching Distillation (DMD) is een krachtig versnellingsparadigma, maar de stabiliteit ervan wordt vaak aangetast in de Verboden Zone, regio's waar de echte leraar onbetrouwbare begeleiding biedt terwijl de kunstmatige leraar onvoldoende afstotende kracht uitoefent. In dit werk stellen we een geünificeerd optimalisatiekader voor dat eerdere technieken herinterpreteert als impliciete strategieën om deze aangetaste regio's te vermijden. Gebaseerd op dit inzicht introduceren we Adaptive Matching Distillation (AMD), een zelfcorrigerend mechanisme dat beloningsproxies gebruikt om Verboden Zones expliciet te detecteren en te ontvluchten. AMD prioriteert dynamisch corrigerende gradiënten via structurele signaalontleding en introduceert Repulsive Landscape Sharpening om steile energiebarrières af te dwingen tegen instorting in faalmodi. Uitgebreide experimenten in beeld- en videogeneratietaken (bijv. SDXL, Wan2.1) en rigoureuze benchmarks (bijv. VBench, GenEval) tonen aan dat AMD de sample-getrouwheid en trainingsrobuustheid aanzienlijk verbetert. AMD verbetert bijvoorbeeld de HPSv2-score op SDXL van 30.64 naar 31.25, wat state-of-the-art baseline-methoden overtreft. Deze bevindingen valideren dat het expliciet corrigeren van optimalisatietrajecten binnen Verboden Zones essentieel is om de prestatielimiet van generatieve modellen met weinig stappen te verleggen.
Multimodale agenten met een lange-termijnhorizon zijn afhankelijk van extern geheugen; op gelijkenis gebaseerde retrievel levert echter vaak verouderde, onbetrouwbare of tegenstrijdige items op, wat tot overmoedige fouten kan leiden. Wij stellen de Multimodale Geheugen Agent (MMA) voor, die aan elk opgehaald geheugenitem een dynamische betrouwbaarheidsscore toekent door bronbetrouwbaarheid, temporeel verval en conflictbewuste netwerkconsensus te combineren, en dit signaal gebruikt om bewijsmateriaal te herwegen en zich van oordeel te onthouden wanneer de ondersteuning onvoldoende is. Wij introduceren ook MMA-Bench, een programmatisch gegenereerde benchmark voor geloofsdynamiek met gecontroleerde sprekersbetrouwbaarheid en gestructureerde tekst-visie tegenstrijdigheden. Met dit framework leggen wij het "Visuele Placebo-effect" bloot, dat onthult hoe op RAG gebaseerde agenten latente visuele vooroordelen van foundation models overnemen. Op FEVER evenaart MMA de basislijnnauwkeurigheid, maar vermindert de variantie met 35,2% en verbetert het selectieve nut; op LoCoMo verbetert een veiligheidsgerichte configuratie de actiegerichte nauwkeurigheid en vermindert het aantal foute antwoorden; op MMA-Bench bereikt MMA 41,18% Type-B nauwkeurigheid in Visiemodus, terwijl de basislijn onder hetzelfde protocol inzakt tot 0,0%. Code: https://github.com/AIGeeksGroup/MMA.
Een kernaspect van de menselijke waarneming is gesitueerd bewustzijn: het vermogen om onszelf te verhouden tot de fysieke omgeving en te redeneren over mogelijke acties in een context. De meeste bestaande benchmarks voor multimodale foundationmodellen (MFM's) leggen echter de nadruk op omgevingsgerichte ruimtelijke relaties (relaties tussen objecten in een scène), terwijl ze waarnemer-gerichte relaties die redeneren vereisen ten opzichte van het gezichtspunt, de houding en de beweging van de agent grotendeels over het hoofd zien. Om deze kloof te overbruggen, introduceren we SAW-Bench (Situated Awareness in the Real World), een nieuwe benchmark voor het evalueren van egocentrisch gesitueerd bewustzijn met behulp van real-world video's. SAW-Bench omvat 786 zelf opgenomen video's, vastgelegd met Ray-Ban Meta (Gen 2) slimme brillen in diverse binnen- en buitenomgevingen, en meer dan 2.071 door mensen geannoteerde vraag-antwoordparen. Het onderzoekt het waarnemer-gerichte begrip van een model met zes verschillende bewustzijnstaken. Onze uitgebreide evaluatie toont een prestatiekloof tussen mens en model van 37,66%, zelfs met het best presterende MFM, Gemini 3 Flash. Naast deze kloof onthult onze diepgaande analyse verschillende opmerkelijke bevindingen; zo kunnen modellen bijvoorbeeld wel partiële geometrische aanwijzingen in egocentrische video's benutten, maar slagen ze er vaak niet in om een coherente camerageometrie af te leiden, wat leidt tot systematische ruimtelijke redeneerfouten. Wij positioneren SAW-Bench als een benchmark voor gesitueerde ruimtelijke intelligentie, die verder gaat dan passieve observatie naar het begrijpen van fysiek verankerde, waarnemer-gerichte dynamiek.
Wij introduceren de Nexus Adapters, nieuwe tekstgestuurde efficiënte adapters voor het op diffusie gebaseerde raamwerk voor Structure Preserving Conditional Generation (SPCG). Recent hebben structuurbehoudende methoden veelbelovende resultaten behaald in conditionele beeldgeneratie door een basismodel te gebruiken voor promptconditionering en een adapter voor structuurinvoer, zoals schetsen of dieptekaarten. Deze benaderingen zijn zeer inefficiënt en vereisen soms evenveel parameters in de adapter als in de basisarchitectuur. Het is niet altijd mogelijk om het model te trainen, omdat het diffusiemodel zelf kostbaar is en een verdubbeling van de parameters zeer inefficiënt is. Bij deze benaderingen is de adapter zich niet bewust van de invoerprompt; hij is daarom alleen optimaal voor de structurele invoer, maar niet voor de invoerprompt. Om de bovengenoemde uitdagingen te overwinnen, stelden wij twee efficiënte adapters voor, Nexus Prime en Slim, die worden gestuurd door prompts en structurele invoer. Elk Nexus Blok bevat cross-attention mechanismen om rijke multimodale conditionering mogelijk te maken. Daarom heeft de voorgestelde adapter een beter begrip van de invoerprompt terwijl de structuur behouden blijft. Wij voerden uitgebreide experimenten uit met de voorgestelde modellen en toonden aan dat de Nexus Prime-adapter de prestaties aanzienlijk verbetert, met slechts 8M extra parameters vergeleken met de baseline, T2I-Adapter. Verder introduceerden wij ook een lichtgewicht Nexus Slim-adapter met 18M parameters minder dan de T2I-Adapter, die toch state-of-the-art resultaten behaalde. Code: https://github.com/arya-domain/Nexus-Adapters
Wij introduceren een nieuw onzekerheidsbewust multimodaal segmentatieraamwerk dat zowel radiologische beelden als bijbehorende klinische tekst benut voor een precieze medische diagnose. Wij stellen een Modaliteitsdecoderings-Attentieblok (MoDAB) voor met een lichtgewicht State Space Mixer (SSMix) om efficiënte kruismodale fusie en modellering van afhankelijkheden over lange afstand mogelijk te maken. Om het leren onder ambiguïteit te sturen, stellen wij het Spectral-Entropische Onzekerheidsverlies (SEU-verlies) voor, dat ruimtelijke overlap, spectrale consistentie en voorspellende onzekerheid gezamenlijk vastlegt in een uniforme doelstelling. In complexe klinische omstandigheden met slechte beeldkwaliteit verbetert deze formulering de betrouwbaarheid van het model. Uitgebreide experimenten op diverse vrij toegankelijke medische datasets, QATA-COVID19, MosMed++ en Kvasir-SEG, tonen aan dat onze methode superieure segmentatieprestaties bereikt en tegelijkertijd aanzienlijk rekenkundig efficiënter is dan bestaande state-of-the-art (SoTA) benaderingen. Onze resultaten benadrukken het belang van het incorporeren van onzekerheidsmodellering en gestructureerde modaliteitsafstemming bij visie-taal medische segmentatietaken. Code: https://github.com/arya-domain/UA-VLS
Multimodale Large Language Models (MLLM's) hebben een significante vooruitgang geboekt in 'embodied AI', en het gebruik ervan om robotintelligentie te benchmarken is een cruciale trend geworden. Bestaande kaders zijn echter overwegend beperkt tot manipulatie met één arm, waardoor ze de ruimtelijk-temporele coördinatie die nodig is voor bimanuele taken, zoals het optillen van een zware pan, niet vastleggen. Om dit aan te pakken, introduceren wij BiManiBench, een hiërarchische benchmark die MLLM's evalueert op drie niveaus: fundamenteel ruimtelijk redeneren, hoog-niveau actieplanning en laag-niveau eind-effectorcontrole. Ons kader isoleert unieke bimanuele uitdagingen, zoals de reikwijdte van de arm en kinematische beperkingen, en onderscheidt zo perceptuele hallucinaties van planningsfouten. Analyse van meer dan 30 state-of-the-art modellen toont aan dat MLLM's, ondanks hun vaardigheid in hoog-niveau redeneren, moeite hebben met ruimtelijke verankering en controle met twee armen, wat vaak leidt tot onderlinge interferentie en volgordefouten. Deze bevindingen suggereren dat het huidige paradigma een diepgaand begrip van onderlinge kinematische beperkingen mist, en benadrukken de noodzaak voor toekomstig onderzoek om zich te richten op het vermijden van botsingen tussen armen en fijnmazige temporele sequentiebepaling.
Generatieve grote visueel-taalmodelen (LVLM's) hebben recent indrukwekkende prestatieverbeteringen bereikt, en hun gebruikersbasis groeit snel. De beveiliging van LVLM's, met name in een langdurige multi-turn context, is echter grotendeels onvoldoende onderzocht. In dit artikel beschouwen we het realistische scenario waarin een aanvaller een gemanipuleerde afbeelding uploadt naar het web/sociale media. Een goedaardige gebruiker downloadt deze afbeelding en gebruikt deze als invoer voor het LVLM. Onze nieuwe stille Visuele Geheugeninjectie (VMI) aanval is zo ontworpen dat het LVLM bij normale prompts nominaal gedrag vertoont, maar zodra de gebruiker een triggerende prompt geeft, produceert het LVLM een specifiek voorgeschreven doelbericht om de gebruiker te manipuleren, bijvoorbeeld voor adversariële marketing of politieke overreding. In vergelijking met eerder werk dat zich richtte op single-turn aanvallen, is VMI effectief zelfs na een lang multi-turn gesprek met de gebruiker. We demonstreren onze aanval op verschillende recente open-weight LVLM's. Dit artikel toont daarmee aan dat grootschalige manipulatie van gebruikers mogelijk is met verstoorde afbeeldingen in multi-turn gesprekssettings, wat pleit voor betere robuustheid van LVLM's tegen deze aanvallen. We geven de broncode vrij op https://github.com/chs20/visual-memory-injection.
De opioïde-epidemie blijft wereldwijd gemeenschappen teisteren, zet gezondheidszorgsystemen onder druk, verstoort gezinnen en vereist dringend computationele oplossingen. Om deze dodelijke opioïdencrisis te bestrijden, zijn grafische leermethoden naar voren gekomen als een veelbelovend paradigma voor het modelleren van complexe, drugsgerelateerde fenomenen. Er blijft echter een significante kloof bestaan: er is geen uitgebreide benchmark voor het systematisch evalueren van deze methoden in realistische scenario's van de opioïdencrisis. Om deze kloof te overbruggen, introduceren wij OPBench, de eerste uitgebreide opioïdenbenchmark die vijf datasets omvat binnen drie kritieke toepassingsdomeinen: detectie van opioïdenoverdosering op basis van zorgclaims, detectie van illegale drugshandel op digitale platformen en voorspelling van drugsmisbruik op basis van voedingspatronen. Specifiek bevat OPBench diverse grafstructuren, waaronder heterogene grafen en hypergrafen, om de rijke en complexe relationele informatie in drugsgerelateerde gegevens te behouden. Om dataschaarste aan te pakken, werken we samen met domeinexperts en gezaghebbende instellingen om datasets te cureren en annoteren, waarbij we ons houden aan privacy- en ethische richtlijnen. Verder stellen we een uniform evaluatiekader in met gestandaardiseerde protocollen, vooraf gedefinieerde datasplitsingen en reproduceerbare basislijnen om een eerlijke en systematische vergelijking tussen grafische leermethoden te vergemakkelijken. Door middel van uitgebreide experimenten analyseren we de sterke en zwakke punten van bestaande grafische leermethoden, waardoor we bruikbare inzichten bieden voor toekomstig onderzoek in de strijd tegen de opioïdencrisis. Onze broncode en datasets zijn beschikbaar op https://github.com/Tianyi-Billy-Ma/OPBench.