Dagelijkse Papers

Multimodale grote taalmodellen (MLLM's) hebben opmerkelijke vooruitgang geboekt bij visuele begripstaken. De meeste bestaande MLLM's zijn echter afhankelijk van autoregressieve generatie, wat hun efficiëntie beperkt voor perceptietaken die het beschrijven van meerdere regio's vereisen. In dit werk stellen we PerceptionDLM voor, een multimodaal diffusie-taalmodel geoptimaliseerd voor efficiënte parallelle regio-perceptie. Onze architectuur is gebouwd op PerceptionDLM-Base, een sterke fundamentele basislijn die state-of-the-art prestaties levert onder open-source diffusie-MLLM's, en maakt volledig gebruik van de parallelle decodeer-aard van DLMs. Specifiek introduceren we efficiënt prompten en gestructureerde aandachtsmaskering om gelijktijdige perceptie van meerdere gemaskeerde regio's mogelijk te maken, waardoor het model regio-beschrijvingen parallel kan genereren op zowel sequentie- als tokenniveau. Dit ontwerp verbetert de inferentie-efficiëntie aanzienlijk in vergelijking met bestaande benaderingen die regio's sequentieel verwerken. Om de parallelliteit van visuele perceptiecapaciteit voor DLMs systematisch te evalueren, construeren we een nieuwe Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) door DLC-Bench op te schalen met meerdere regio-maskers per afbeelding, waardoor gezamenlijke evaluatie van zowel bijschriftkwaliteit als inferentie-efficiëntie mogelijk wordt. Experimenten tonen aan dat PerceptionDLM concurrerende prestaties handhaaft in regio-ondertiteling terwijl het aanzienlijke snelheidsverbeteringen behaalt voor perceptietaken met meerdere regio's. Onze resultaten benadrukken het potentieel van multimodale diffusie-taalmodellen voor efficiënte, parallelle visuele perceptie. Voor zover wij weten, zijn we de eersten die parallelle regio-ondertiteling en perceptie realiseren door de voordelen van diffusie-taalmodellen te benutten. Code, modellen en datasets worden openbaar gemaakt.

Gepersonaliseerde presentatiegeneratie vereist meer dan alleen conditionering op een huidige prompt of sjabloon: agenten moeten stabiele gebruikersvoorkeuren over taken heen behouden, nieuw geïntroduceerde voorkeuren en beperkingen tijdens meervoudige revisierondes vasthouden, en lokale bewerkingen betrouwbaar uitvoeren. Wij stellen MemSlides voor, een hiërarchisch geheugenraamwerk voor gepersonaliseerde presentatieagenten dat het langetermijngeheugen scheidt van het werkgeheugen en het langetermijngeheugen verder onderverdeelt in gebruikersprofielgeheugen en gereedschapsgeheugen. Gebruikersprofielgeheugen slaat intentie-afhankelijke profielen op voor ronde-0-personalisatie, werkgeheugen draagt actieve voorkeuren en sessiebeperkingen over revisierondes heen, en gereedschapsgeheugen slaat herbruikbare uitvoeringservaring op voor betrouwbare gelokaliseerde bewerkingen. MemSlides koppelt dit geheugenontwerp aan een afgebakende dia-lokale revisie, zodat gerichte updates inwerken op het kleinste getroffen gebied in plaats van de volledige set herhaaldelijk te regenereren. In gecontroleerde experimenten verbetert gebruikersprofielgeheugen de persona-afstemmingsbeoordelingen in een multi-persona, multi-intentie profielenbank, verbetert injectie van gereedschapsgeheugen het gesloten-lus modificatiegedrag in diagnostische gepaarde-omgevingen, en illustreren kwalitatieve casussen het vermogen van werkgeheugen om voorkeuren over te dragen. Alles bij elkaar suggereren deze resultaten dat effectieve personalisatie bij het opstellen van presentaties afhangt van het scheiden van persistente gebruikersprofielen, sessie-niveau werkgeheugen en herbruikbare uitvoeringservaring over generatie en gelokaliseerde revisie heen.

Geheugenbenchmarks voor LLM-agenten gaan grotendeels uit van instellingen voor één gebruiker, waardoor gedeelde assistenten voor ziekenhuizen, werkplekken, campussen en huishoudens onderbelicht blijven. In deze implementaties schrijven meerdere principes naar een gemeenschappelijke geheugenpool en bevragen deze onder verschillende rollen, reikwijdtes en relaties, dus geheugenkwaliteit vereist zowel governance als recall. We introduceren GateMem, een benchmark voor agenten met gedeeld geheugen voor meerdere principes. GateMem evalueert gezamenlijk de bruikbaarheid voor legitieme langetermijnverzoeken met statusupdates, toegangscontrole over contextuele autorisatiegrenzen heen, en agentgerichte actieve vergetelheid na expliciete verwijderingsverzoeken. Het bestrijkt medische, kantoor-, onderwijs- en huishoudelijke domeinen, met lange multi-party afleveringen, incrementele geheugeninjectie, verborgen checkpoints, gestructureerde beoordeling en lekdoelannotaties. Bij diverse baselines en backbone-modellen bereikt geen enkele methode tegelijkertijd sterke bruikbaarheid, robuuste toegangscontrole en betrouwbare vergetelheid. Lang-context prompting levert vaak de beste governancescore op tegen hoge tokenkosten, terwijl retrieval-gebaseerde en externe geheugenmethoden de kosten verlagen maar nog steeds ongeautoriseerde of verwijderde informatie lekken. Deze resultaten tonen aan dat huidige geheugenagenten nog ver verwijderd zijn van betrouwbare gedeelde institutionele implementatie.

Hoewel redeneren bij autoregressieve (AR) modellen vaak wordt uitgevoerd door middel van keten-van-gedachte redeneren en reflectie, blijft de verfijning van hun eerdere uitvoer gebaseerd op volledig sequentiële generatie, zelfs wanneer slechts lokale aanpassingen nodig zijn. Daarentegen ondersteunt het maskermechanisme in Mask Diffusiemodellen (MDM's) van nature expliciete lokale aanpassingen aan eerdere uitvoer, waardoor selectieve verfijning mogelijk is zonder eerdere antwoorden te verwerpen en een nieuw antwoord vanaf nul te genereren. Hoewel deze eigenschap beter aansluit bij hoe mensen fouten corrigeren door middel van iteratieve lokale verfijning, ondersteunen bestaande MDM's geen meerstaps maskeren en denoising. Wij stellen Reflectief Maskeren (RM) voor, dat een dergelijk intrinsiek redeneervermogen in MDM's mogelijk maakt via lichtgewicht post-training. RM biedt een nativee testtijd schaling, waarbij een MDM iteratief zijn eerdere uitvoer herziet en reviseert op basis van een evoluerende context. Om inzichten uit eerdere stappen, zoals bij AR-redeneren, te benutten, introduceren we bovendien Geschiedenisreferentie, een parameter-vrij mechanisme dat gebruikmaakt van tussentijdse denoising-toestanden tijdens revisie. Onze aanpak vereist geen architecturale wijzigingen en is gemakkelijk toepasbaar op bestaande MDM's. Bij diverse taken en modaliteiten, waaronder tekstgeneratie, Sudoku en beeldbewerking, presteert Reflectief Maskeren consistent beter dan standaard op maskeren gebaseerde basislijnen en toont het een sterke algemeenheid, waardoor RM wordt gepositioneerd als een fundamentele primitieve voor redeneren in MDM's.

Retrieval-augmented generation (RAG)-systemen zijn sterk afhankelijk van de manier waarop documenten worden opgedeeld en doorzocht. Fijnkorrelige chunks kunnen de retrievalprecisie verbeteren, maar vergroten de zoekruimte, wat leidt tot hogere latentie en kosten; grotere chunks verminderen het aantal kandidaten, maar maken dense gelijkenis minder betrouwbaar, doordat de representatie van elke chunk meerdere onderwerpen mengt en meer semantische ruis introduceert. Deze afweging is vooral beperkend bij diepgaande onderzoekstaken, waar retrieval zowel snel als precies moet zijn over grote, heterogene corpora. We introduceren MCompassRAG, een metadata-gestuurd retrievalsysteem dat onderwerpsignalen gebruikt als een semantisch kompas voor het selecteren van relevant bewijs. In plaats van alleen te vertrouwen op cosinusgelijkenis tussen query's en ruizige chunk-embeddings, verrijkt MCompassRAG chunk-representaties met onderwerpmetadata in dezelfde embeddingruimte en traint een lichtgewicht retriever via LLM-leraardistillatie. Tijdens inferentie voert MCompassRAG onderwerp-bewuste retrieval uit zonder extra LLM-aanroepen, wat zowel efficiëntie als bewijskwaliteit verbetert. Op zes complexe retrieval-benchmarks verbetert MCompassRAG de informatie-efficiëntie (IE) gemiddeld met 8,24% bij een meer dan 5 keer lagere latentie dan de sterkste efficiënte RAG-baselines. Code is beschikbaar op https://github.com/AmirAbaskohi/MCompassRAG.

Retrieval-augmented generation (RAG)-systemen moeten een balans vinden tussen retrievergranulariteit en contextuele coherentie, een uitdaging die bestaande methoden aanpakken via LLM-gestuurd chunking, contextuitbreiding op één niveau, of hiërarchische samenvatting. Deze benaderingen zijn op verschillende manieren afhankelijk van dure LLM-aanroepen tijdens het indexeren of ophalen, beperken contextaggregatie tot één granulariteitsniveau, of introduceren informatieverlies door samenvatting. Wij presenteren SproutRAG, een door aandacht gestuurd hiërarchisch RAG-raamwerk dat deze afweging aanpakt door zinsniveau-brokken te organiseren in progressief grotere maar semantisch coherente eenheden, waarbij gebruik wordt gemaakt van aangeleerde inter-zinsaandacht om een binaire chunking-boom te construeren. In tegenstelling tot eerdere benaderingen die afhankelijk zijn van externe LLM's, vaste contextuitbreiding of verliesgevende samenvatting, leert SproutRAG welke aandachtskoppen en -lagen de semantische documentstructuur het beste vastleggen, wat multi-granulariteitsretrieval mogelijk maakt zonder extra LLM-aanroepen of gecomprimeerde samenvattingen. Tijdens het ophalen gebruikt SproutRAG hiërarchisch beam search om kandidaten op meerdere granulariteitsniveaus te vinden, waarbij meerzinsrelevantie wordt vastgelegd die verder gaat dan vlakke retrieval. Het raamwerk wordt end-to-end getraind met een gezamenlijke doelstelling die zowel de embeddings als de boomstructuur verbetert. Experimenten op vier benchmarks in wetenschappelijke, juridische en open-domein omgevingen tonen aan dat SproutRAG de informatie-efficiëntie (IE) gemiddeld met 6,1% verbetert ten opzichte van de sterkste baseline. Code is beschikbaar op https://github.com/AmirAbaskohi/SproutRAG.

Driedimensionale (3D) hersens-MRI staat centraal in de klinische neurologie en neuro-oncologie, waar generative modellen ondervertegenwoordigde cohorten kunnen aanvullen, ziektetrajecten kunnen simuleren en privacybeschermende gegevensuitwisseling kunnen ondersteunen. Latente diffusie is de standaardoplossing geweest voor het modelleren van beeldgegevens, maar het stelt twee concurrerende eisen aan de tokenizer: encoder-embeddings moeten de klinische informatie behouden waar downstream-taken op werken, en de decoder moet anatomisch getrouwe volumes reconstructen. Bestaande reconstructiegedreven tokenizers bereiken het tweede ten koste van het eerste. Om dit aan te pakken, introduceren wij een volledig volumetrische gemaskeerde autoencoder (MAE) gebaseerde tokenizer voor 3D-hersens-MRI latente diffusie, waarbij encoder en decoder worden ontkoppeld: een bevroren 3D MAE-encoder produceert klinisch informatieve embeddings, terwijl een speciale CNN-decoder voxels reconstructeert uit een lineaire projectie van die embeddings. We trainen de encoder vooraf op 35.309 volumes uit 18 openbare cohorten die vier modaliteiten, tien ziektes categorieën en meer dan 200 acquisitielocaties beslaan, en tonen het dubbele nut ervan aan in twee settings. Ten eerste, op een 23-taak linear-probing benchmark, presteert de encoder beter dan of gelijk aan SOTA-modellen (d.w.z. BrainIAC, BrainSegFounder en MedicalNet) op 21 van de 23 taken. Ten tweede, een conditionele diffusietransformer (DiT) getraind op deze klinisch informatieve embeddings ondersteunt zowel conditionele generatie over zes variabelen als patiëntspecifieke longitudinale voorspelling. Samen vestigen deze resultaten een enkele 3D-hersen-MRI-embeddingruimte die zowel downstream klinische taken als beheersbare generatie mogelijk maakt.

Generalistische visie-taal-actiesystemen hebben object-gerichte 3D-bewijs en herbruikbare manipulatie-ervaring nodig om betrouwbare robotbanen te plannen. GeneralVLA biedt een hiërarchische interface voor het omzetten van taal- en RGB-D-waarnemingen naar 3D-eind-effectorpaden, maar er blijven twee knelpunten bestaan. Ten eerste kan monoscopische SAM3D-stijl objectreconstructie pose en onzichtbare geometrie hallucineren, terwijl manipulatie baat heeft bij stabiele objectvorm wanneer gekalibreerde multi-viewwaarnemingen beschikbaar zijn. Ten tweede haalt de oorspronkelijke KnowledgeBank voornamelijk semantisch vergelijkbare fragmenten op en voegt nieuwe kennis toe, wat het moeilijk maakt om geheugenkwaliteit, conflicten, vertrouwen en geometrische relevantie te beheersen. Om de eerste uitdaging aan te pakken, introduceren we GeoFuse-MV3D, een geometrie-prior-geleide MV-SAM3D-reconstructietak die externe geometrie-aanwijzingen verifieert met invoeraanzichtmaskers, zachte visuele-hull-ondersteuning toepast, asgewijze verfijning uitvoert en alleen geometrie fuseert terwijl het uiterlijk behouden blijft. Om de tweede uitdaging aan te pakken, upgraden we KnowledgeBank naar een beheerd langetermijngeheugensysteem met expliciete kwaliteit, vertrouwen, levenscyclus, verifier en conflictmetadata, samen met precisiegerichte ophaling. Ten slotte evalueren we de reconstructietak op GSO-30 en de geheugenmodule op Terminal-Bench 2.0 en SWE-Bench Verified; GeoFuse-MV3D verbetert ten opzichte van de MV-SAM3D-baseline door CD en LPIPS te verminderen met respectievelijk 2,20% en 2,02%, terwijl PSNR en SSIM toenemen met 2,36% en 1,03%, en KnowledgeBank verbetert ten opzichte van ReasoningBank met 4,53% op Terminal-Bench SR en 3,73% op SWE-Bench resolve rate, terwijl AS met respectievelijk 4,95% en 5,65% afneemt. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.

Om mensen gedurende langere perioden in echte huizen te ondersteunen, moeten belichaamde agenten gebruikersroutines, wereldtoestanden en eerdere interacties onthouden. Bestaande benchmarks voor langetermijngeheugen richten zich voornamelijk op taalgerichte retrieval en vraagbeantwoording, terwijl belichaamde benchmarks vaak kortehorizontaken testen zonder het gebruik van langetermijngeheugen in dynamische omgevingen te evalueren. Wij introduceren WorldLines, een projectgedreven benchmark voor langetermijn belichaamde huishoudelijke ondersteuning. Het construeert tijdsuitgebreide huishoudelijke sporen met dialogen, acties, uitvoeringsfeedback, veranderingen in object- en apparaatstoestanden, en zet deze om in bewijsgekoppelde voorbeelden voor Geheugen QA en Belichaamde Taakplanning. Verder stellen wij ObsMem voor, een observatiegebaseerd geheugenraamwerk dat zichtbaarheidsbewuste herinneringen en actie-native toestandssporen onderhoudt voor toestandsbewuste beslissingen. Experimenten onthullen aanhoudende uitdagingen op het gebied van partiële waarneembaarheid, overschreven wereldtoestanden en het vertalen van langetermijngeheugen naar belichaamde plannen, terwijl ObsMem een sterkere referentiearchitectuur biedt voor deze context.

Hoogwaardige 4D-hoofdavatars op basis van één of enkele bronportretten staan centraal in telepresence, AR/VR en digitale-mensinteractie. 3D Gaussian Splatting (3DGS) is uitgegroeid tot de dominante representatie, waarbij twee complementaire regimes (generaliseerbare feed-forward voorspellers en per-proefpersoon verfijners) parallel volwassen worden. Bestaande feed-forward voorspellers worden echter getraind op één enkele datasetfamilie met een vast aantal bronnen, waardoor ze de bijbehorende domeinbias overnemen. Per-proefpersoon verfijners vereisen 300K–600K iteraties en zijn afhankelijk van adaptieve verdichting, die bovenliggende Gaussiaanse lay-outs verstoort, waardoor de twee regimes geen end-to-end representatie kunnen delen. Om beide regimes te overbruggen introduceren wij SpatialAvatar-0 op een gedeelde FLAME-mesh-gebonden Gaussiaanse representatie: een feed-forward generator met een parameter-vrije K-bron gemiddelde-pooling en een twee-fasen schema van monoculair-temporeel naar multi-view-ruimtelijk, dat instorting van de identiteits-prior op de kleinere multi-view set voorkomt. Verder introduceren wij een 10K-iteratie lay-outbehoudende per-proefpersoon verfijningslus die de FLAME-binding en het aantal Gaussiaanse punten bevriest en verdichting vervangt door een drie-componenten anti-piek regularisatie. Op de cross-domein zero-shot VFHQ/HDTF overtreffen wij de in-domein leider GAGAvatar met +1,5 dB PSNR, ondanks dat wij op geen van beide testdomeinen hebben getraind. Op de SplattingAvatar monoculaire benchmark staan wij bovenaan in elke gerapporteerde metriek, waarbij wij de 300K-iteratie GeoAvatar met +1,3 dB PSNR overtreffen met een tot 60x korter per-proefpersoon schema dan gangbare SOTA-baselines. Website: https://spatialwalk.github.io/SpatialAvatar-0.

De narratieve samenstelling van web-schaal LLM-pre-trainingscorpora blijft grotendeels onontgonnen, ook al is narratief een fundamentele vorm van menselijke communicatie. Wij presenteren de eerste fijnmazige studie van narratieve kenmerken in Dolma, een open pre-trainingscorpus van 3 biljoen tokens. Op basis van narratieve theorie ontwerpen we een raamwerk dat drie kerncomponenten van narratief omvat (handelingsvermogen, omgeving en gebeurtenissen), geoperationaliseerd als 11 interpreteerbare dimensies. Na het samplen en annoteren van een diverse set van 400 passages, stellen we NarraBERT fijn af en valideren we het, een RoBERTa-gebaseerd model voor fijnmazige narratieve voorspelling. We passen NarraBERT toe op 3 miljoen passages, wat resulteert in een nieuwe dataset, NarraDolma. We vinden dat (i) narratieve structuur meetbaar is op schaal in extreem heterogene data, (ii) we een continue, multidimensionale narratieve structuur blootleggen die ten grondslag ligt aan webtekst, en (iii) narratieve kwaliteiten ongelijk verdeeld zijn over pre-trainingsbronnen en onderwerpen, op manieren die huidige curatiepraktijken niet meten noch verantwoorden. Ons raamwerk, onze dataset en onze analyses bieden een basis voor het begrijpen hoe narratieve kwaliteiten verdeeld zijn in LLM-pre-trainingsdata en voor het bestuderen hoe datasamenstelling narratieve redeneertaken beïnvloedt. We stellen NarraDolma en NarraBERT openbaar beschikbaar.

Multimodale grote taalmodellen (MLLMs) worden steeds vaker ingezet in persoonlijke en maatschappelijk relevante contexten, maar de visuele aanwijzingen die bepalen hoe deze modellen mensen beoordelen, zijn nog slecht begrepen. Eerder onderzoek vergelijkt vaak verschillende (groepen) individuen, waardoor het moeilijk is om effecten van uiterlijk te scheiden van identiteitsverschillen. Wij introduceren StylisticBias, een gecontroleerde benchmark voor het evalueren van sociale bias op attribuutniveau in MLLMs. We genereren 500 fotorealistische basisgezichten en creëren per gezicht ongeveer 50 enkelvoudige attribuutvariaties, wat resulteert in ongeveer 25.000 afbeeldingen. Dit ontwerp houdt de identiteit vast en verandert telkens één visueel attribuut. Het stelt ons in staat om te meten hoe specifieke aanwijzingen modeloordelen verschuiven. We evalueren zes MLLMs in 25 binaire sociale oordeelsscenario's. We vinden dat leeftijd en lichaamstype dominante effecten hebben op identiteitsniveau, terwijl modestijl en andere visuele aanwijzingen de grootste verschuivingen op attribuutniveau veroorzaken. Verder zien we dat ongeveer 15 attributen verantwoordelijk zijn voor bijna 80% van de totale variatie, wat aangeeft dat bias geconcentreerd is in een kleine set visuele aanwijzingen. De gevoeligheid is het sterkst bij oordelen die semantisch overeenkomen met het uiterlijk, met name bij sociaaleconomische en stijlgerelateerde oordelen. We publiceren StylisticBias als een benchmark voor fijnmazige biasevaluatie in multimodale modellen. Code en dataset: https://github.com/timo-cavelius/StylisticBias en https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

In-context learning (ICL) is de standaardmethode voor classificatie in situaties met beperkte middelen, maar de effectiviteit ervan in gespecialiseerde domeinen is nog grotendeels onbekend. We pakken de uitdaging aan van het classificeren van semantisch complexe, meerpartijen-B2B-gesprekken, waar traditionele ICL aanzienlijke beperkingen ondervindt, vooral naarmate de contextlengte toeneemt door het aaneenschakelen van meerdere few-shot-voorbeelden. We introduceren de Call Playbook-dataset, die vijf classificatietaken omvat die zijn afgeleid van echte B2B-gesprekken gericht op kernconcepten in de verkoop. Om de kloof tussen prestaties en praktisch nut te overbruggen, stellen we nieuwe methoden voor kennisextractie voor die uitvoerige voorbeelden distilleren tot compacte, interpreteerbare representaties van gestructureerde classificatiecriteria en nauwkeurige taakbeschrijvingen. Onze aanpak bereikt een vermindering van 99% in tokenverbruik en verbetert de macro-gemiddelde AUC met tot 7% ten opzichte van traditionele ICL. Opmerkelijk is dat het robuust blijft naarmate de context groeit, in tegenstelling tot geavanceerde tokencompressie-baselines die meer dan 9 F1-punten achteruitgaan. Belangrijk is dat ons raamwerk directe verfijning van de classificatielogica mogelijk maakt, waarmee wordt ingespeeld op kritieke behoeften aan transparantie, efficiëntie en gebruikersinteractie in praktische NLP-toepassingen.

Medische tabelgegevens komen veel voor in klinisch onderzoek, maar diep leren voor tabellen blijft onderbelicht omdat betrouwbare labels vaak kostbare expertise vereisen, hoewel gestructureerde klinische variabelen routinematig beschikbaar zijn in tabelvorm. Zelfgestuurd leren kan deze ongelabelde tabellen benutten, en recente op binning gebaseerde pretext-taken bieden een veelbelovende inductieve bias, maar bestaande doelstellingen hanteren een vaste globale kwantieldiscretisatie en passen kenmerk-agnostisch toezicht toe. Wij stellen Adaptieve Binning voor, een trainingsadaptieve discretisatie-pretext voor tabel-gebonden SSL die discretisatie koppelt aan leren via een kenmerkgewijze curriculum van grof naar fijn. Gemotiveerd door de spectrale bias van neurale netwerken en de principes van curriculumleren, verfijnt onze methode progressief de discretisatie per kenmerk bij detectie van een plateau en selecteert representatiebewuste splitsingen om zowel de concentratie in de waarderuimte als de coherentie in de representatieruimte te verbeteren. Een heterogeniteitsbewuste doelstelling verenigt categorische reconstructie met ordinaal toezicht voor numerieke kenmerken, en experimenten op openbare medische tabeldatasets onder uniforme evaluatieprotocollen tonen consistente verbeteringen voor lineaire sondering en fijnafstelling zonder datasetspecifieke discretisatie-afstemming. Verder introduceren we een medische tabel-gebonden SSL-benchmark met gestandaardiseerde protocollen om reproduceerbare vooruitgang in dit onderbelichte domein te ondersteunen. Onze code is beschikbaar op https://github.com/labhai/Adaptive-Binning.