Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Reinforcement learning met verifieerbare beloningen (RLVR) is een krachtige methode om het redeneren van taalmodellen te verbeteren, maar het is duur om dit te herhalen voor elk nieuw sterk model, omdat het doelmodel tijdens training veel rollouts moet genereren. Naarmate modellen schalen, wordt de nabehandeling zelf een knelpunt. Wij bestuderen een alternatief van zwak naar sterk: voer RL uit op een kleiner model waar rollouts goedkoper zijn, en hergebruik vervolgens wat die RL-run heeft geleerd om een sterker doelmodel te verbeteren. Het direct distilleren van de post-RL zwakke leraar is niet voldoende, omdat het uiteindelijke beleid van de leraar nuttige RL-winsten vermengt met de beperkingen van het kleinere model. Wij stellen Direct On-Policy Distillation (Direct-OPD) voor, dat in plaats daarvan de door RL veroorzaakte beleidsverschuiving van de leraar overdraagt. Direct-OPD vergelijkt de post-RL-leraar met zijn eigen pre-RL-referentie en behandelt hun log-ratio als een dichte impliciete beloning voor de student. In gewone termen vertelt het checkpoint-paar ons welke acties RL meer of minder waarschijnlijk maakte voor het zwakke model, en Direct-OPD past dat signaal toe op de eigen on-policy toestanden van de sterkere student. Dit hergebruikt direct het RL-supervisiesignaal van het zwakke model zonder sparse-reward RL op het doelmodel uit te voeren. Empirisch gezien maakt Direct-OPD consequent gebruik van zwakkere leraren om sterkere doelmodellen te verbeteren; opvallend is dat het Qwen3-1.7B van 48,3% naar 58,3% op AIME 2024 brengt in slechts 4 uur op 8 A100 GPU's. Het presteert beter dan stapsgewijs gematchte directe RL en maakt de sequentiële samenstelling van meerdere beleidsverschuivingen mogelijk. Onze resultaten tonen aan dat RL-resultaten kunnen worden hergebruikt over modelschalen heen als impliciete beloningssignalen, niet alleen als eindmodellen om te imiteren.
Fundamentmodellen voor visuele taalnavigatie streven ernaar diepgaand redeneren voor ruimtelijke beslissingen te verenigen met brede veelzijdigheid voor diverse belichaamde taken. Huidige benaderingen bereiken deze integratie doorgaans via monolithische beleidsregels die waarnemingen direct naar acties vertalen, maar ze lijden vaak onder coördinatendrift en slechte omgang met langstaartsemantiek. Bovendien missen deze black-box-vertalingen interpreteerbaarheid, wat het gelijktijdig bereiken van algemeenheid, robuustheid en transparantie belemmert. We presenteren ABot-N1, een stap richting een algemeen funderingsmodel voor visuele taalnavigatie, dat deze uitdagingen aanpakt door cognitie te ontkoppelen van controle via een langzaam-snelle architectuur geleid door dubbele visuele-taalsignalen. Specifieker, een langzame visie-taalredenaar voert expliciete keten-van-gedachte-redenering uit terwijl het een pixeldoel produceert. Deze compacte set van ankerpunten in de beeldruimte fungeert als een universele interface voor diverse taken, waaronder punt-doel, object-doel, POI-doel, instructie-volgen en persoon-volgen. Vervolgens maakt een snelle actie-expert gebruik van zowel de tekstuele aanwijzingen als de pixelbegeleiding om continue wegpunten te genereren op de oorspronkelijke besturingsfrequentie. Door hoogwaardige intenties en laagwaardige controle te overbruggen via pixel-verankerde ankerpunten gecombineerd met expliciete linguïstische sporen, zorgt onze aanpak voor robuuste, generaliseerbare en interpreteerbare navigatie in zowel simulatie- als praktijkbenchmarks. ABot-N1 vestigt nieuwe state-of-the-art records, met name in stedelijke navigatie: een stijging van 35,0% (naar 77,3%) in POI-aankomst en 95,4%/92,9% SR in complexe binnen- en buitenscènes. Het behoudt ook superieure robuustheid bij taken zoals objectbereiken, persoon-volgen en instructie-volgen. Nieuwe Point-Goal/POI-Goal-benchmarks worden als open source vrijgegeven om het veld van stedelijke navigatie vooruit te helpen.
Recente VLM- en VLA-systemen hebben de robotperceptie en actievoorspelling verbeterd, maar langetermijn belichaamde agenten hebben nog steeds een algemene runtime-laag nodig voor redeneren, geheugen, gebruik van hulpmiddelen, verificatie en uitvoering over verschillende belichamingen. Wij presenteren ABot-AgentOS, een algemeen robotisch Agent Operating System dat zich boven laagniveaucontrollers bevindt en een deliberatieve agentlaag biedt voor scenario-afhankelijke planning, context-geïsoleerde vaardigheidsuitvoering, meerstapsverificatie, multimodaal geheugen en edge-cloud-samenwerking. Om dergelijke systemen te evalueren, introduceren wij EmbodiedWorldBench, een uitvoerbare benchmark met 16 binnen-, buiten- en hybride scenario's, vier moeilijkheidsgraden en meer dan 200 taken, waaronder navigatie, objectzoektochten, NPC-dialogen, dynamische gebeurtenissen en spoorgebaseerde scoring. ABot-AgentOS introduceert verder Universeel Multimodaal Grafiekgeheugen, een persistent bronverankerd substraat dat dialoog, visuele waarnemingen, ruimtelijke context, temporele relaties en taaksporen omzet in getypeerde knooppunten en randen. Een falingsgedreven zelfevolutielus zet gediagnosticeerde geheugenfouten om in gegate runtime-evo-assets die pas worden gepromoveerd naar latere evaluatiesplits, waardoor ground-truth-lekkage in de huidige split wordt voorkomen en continue verbetering mogelijk wordt. Op een eerste EmbodiedWorldBench-deelverzameling verbetert ABot-AgentOS ten opzichte van een baseline met enkele controller, zowel in taaksucces als doelvoltooiing. Op geheugenbenchmarks behaalt ABot-AgentOS Static 87,5 op LoCoMo, 59,9 op OpenEQA EM-EQA, 88,6 op Mem-Gallery en 76,5 Acc@All op NExT-QA; zelfevolutie verbetert LoCoMo verder naar 88,7, OpenEQA naar 60,4 en Mem-Gallery naar 89,0. Deze resultaten suggereren dat een algemene Agent OS-laag de langetermijn belichaamde uitvoering kan verbeteren, terwijl persistent, controleerbaar geheugen voor continue interactie wordt geboden.
Bestaande volumetrische vastlegging van dynamische menselijke bewegingen bereikt een hoge getrouwheid met dichte camera-arrays. In praktijkscenario’s zijn echter slechts een handvol camera’s met geringe overlapping beschikbaar, wat de uitvoerkwaliteit aantast en grote gebieden onwaargenomen laat. Recente 4D-reconstructiemethoden richten zich op instellingen met geringe overlapping, maar produceren nog steeds zichtbare artefacten in onvoldoende waargenomen gebieden. Videodiffusiemodellen zijn naar voren gekomen als een alternatief, maar laten geometrisch inconsistente resultaten zien voor mensen. Om deze beperkingen aan te pakken, stellen wij StudioRecon voor, een pijplijn die 4D-menselijke scènes reconstrueert uit schaarse camera’s met geringe overlapping door achtergrond en mensen te ontkoppelen. Wij verdichten het toezicht op de achtergrond door honderden cameragestuurde nieuwe aanzichten te synthetiseren met een videodiffusiemodel. Ook initialiseren wij robuust vervormbare Gaussiaanse mensen met kruiselingse identiteitsassociatie tussen aanzichten en getrianguleerde meervoudige-aanzichten-sleutelpuntfitting. Ten slotte harmoniseert onze recursieve verbeteringsmodule met bewegingsadaptieve consistentie-injectie de samengestelde uitvoer, waardoor resterende artefacten verder worden voorkomen. Wij behalen state-of-the-art synthese van nieuwe aanzichten in vier praktijkdatasets en demonstreren toepassingen zoals weergave van nieuwe trajecten en vervanging van mensen.
Persoonlijke AI-assistenten op mobiele en draagbare apparaten nemen continu het dagelijks leven van gebruikers waar via visuele en audio-streams. Het beantwoorden van vragen over ervaringen uit het verleden vereist echter een lichtgewicht multimodaal geheugen dat continu langetermijnervaringen kan verzamelen, ordenen en ophalen, wat een uitdaging blijft. Om deze uitdaging aan te gaan, presenteren we LightMem-Ego, een lichtgewicht streamend multimodaal geheugensysteem voor ondersteuning in het dagelijks leven. Het systeem legt continu egocentrische visuele en audio-streams vast, lijnt ze uit op een gedeelde tijdlijn en organiseert ze in een hiërarchisch geheugen bestaande uit huidig, kortetermijn- en langetermijngeheugen. Bij een gebruikersvraag routeert LightMem-Ego dynamisch het ophalen naar het juiste geheugenniveau en genereert antwoorden die zijn gebaseerd op multimodaal bewijs. De demonstratie kan worden ingezet op smartphones en AI-brillen en ondersteunt het vinden van objecten, het ophalen van gesprekken, levenssamenvatting, routineontdekking en gepersonaliseerde ondersteuning. Code is beschikbaar op https://github.com/zjunlp/LightMem-Ego.
Grote taalmodellen (LLMs) hebben opmerkelijke prestaties geleverd op wiskunde op middelbare school- en olympiadeniveau, maar hun capaciteiten op het gebied van geavanceerde wiskunde worden nog steeds slecht begrepen. Bestaande benchmarks schieten echter tekort wat betreft zowel reikwijdte als evaluatiegranulariteit: ze bieden een beperkte disciplinaire dekking en vertrouwen vaak op de juistheid van het uiteindelijke antwoord of grove beoordelingen, waardoor de validiteit van het redeneerproces onvoldoende wordt beoordeeld. Om deze kloof te overbruggen, introduceren we AdvancedMathBench, een benchmarksuite ontworpen om geavanceerd wiskundig redeneervermogen te evalueren. De kern ervan, een benchmark voor het genereren van bewijzen, ProverBench, bevat 296 problemen die zowel undergraduate- als doctoraal kwalificerende-examenniveaus bestrijken. Om een betrouwbare evaluatie van de bewijzen te bieden, ontwikkelen we een speciale automatische verificatiepijplijn die is getraind op grootschalige expertannotaties om zowel correctheidsoordelen als gedetailleerde beoordelingen van bewijsfouten te produceren, wat sterke overeenstemming vertoont met menselijke experts op niet eerder geziene bewijstrajecten. Verder introduceren we VerifierBench, bestaande uit 888 door modellen gegenereerde bewijstrajecten gekoppeld aan expert ground truth, om te evalueren of modellen de geldigheid van bewijzen correct kunnen beoordelen en degelijke verificatieredenen kunnen geven. Experimenten tonen aan dat AdvancedMathBench een uitdaging blijft voor geavanceerde modellen. Bij het genereren van bewijzen behaalt het best presterende model, GPT-5.5-xhigh, slechts 75,8 en 66,1 op respectievelijk de UGD- en QE-splitsingen, wat duidt op aanzienlijke ruimte voor verbetering bij het construeren van geavanceerde wiskundige bewijzen. Bij bewijsverificatie behaalt het beste model een gebalanceerde F1-score van slechts 65,1, en modellen vertonen over het algemeen lage true negative rates, wat suggereert dat het detecteren van kritieke fouten een belangrijke bottleneck blijft.
Metacognitie is een fundamenteel onderdeel van intelligentie dat essentieel is voor effectief leren, probleemoplossing, besluitvorming, communicatie en meer. In de afgelopen jaren wordt het steeds meer erkend als een hoeksteen van capabele, transparante AI-systemen. Hoewel grote taalmodellen (LLMs) aanzienlijke vooruitgang hebben geboekt bij uiteenlopende praktische taken, is het nog niet duidelijk wanneer, hoe of in welke mate zij effectieve metacognitieve vermogens kunnen vertonen of daarmee kunnen worden uitgerust, noch hoe dergelijke vermogens kunnen worden aangepast om de fundamentele capaciteiten, betrouwbaarheid en intelligentie van AI-systemen te bevorderen. Dit artikel overbrugt deze kloof door het eerste uitgebreide overzicht te presenteren van de huidige stand van kennis over metacognitie voor LLMs. We analyseren en taxonomiseren het landschap van dit opkomende veld en vatten recente technische ontwikkelingen samen, waaronder methoden en benchmarks om de metacognitieve vermogens van LLMs te meten en te evalueren, technieken om metacognitie in LLMs op te wekken, te verbeteren en toe te passen, en bevindingen en implicaties van lopend onderzoek. We bespreken ook toepassingen, open vragen en uitdagingen, en veelbelovende richtingen voor toekomstig werk. Ons doel is om een gedetailleerd en actueel overzicht van dit onderwerp te bieden en zinvol onderzoek en discussie te stimuleren. Een georganiseerde lijst van artikelen is te vinden op https://github.com/yale-nlp/LLM-Metacognition.
Bestuurbaarheid is een bepalende eigenschap van generalistische robotbeleidslijnen, maar ontbreekt grotendeels in systemen met behendige handen door het gebrek aan grootschalige, taal-gesynchroniseerde en actie-nauwkeurige demonstratiedata. Om deze bottleneck aan te pakken, presenteren we een full-stack systeem dat behendige VLA pre-training opschaalt vanuit egocentrische menselijke video's en data-efficiënte real-robot post-training mogelijk maakt. Het integreert EgoSmith, een datapijplijn die in-the-wild egocentrische video's omzet in 9,6K uur aan hoogwaardige pre-training data met 9x hogere doorvoer en betere nauwkeurigheid dan de vorige SOTA; een uniforme robotstack voor teleoperatie en correctie met mens-in-de-lus; en EgoSteer, een wereldmodel-versterkte VLA getraind op geoptimaliseerde infrastructuur. Pre-training op menselijke data voorziet EgoSteer van taalgestuurde manipulatierijkheden, die worden verankerd via robot post-training en verbeterd door DAgger-verfijning. Empirisch voert EgoSteer robuust vrije-vorm instructies uit voor 40+ uiteenlopende taken, met herstel van fouten, behendigheid en generalisatie. Het voorgetrainde model past zich ook met weinig voorbeelden aan aan complexe taken met lange horizon, waaronder het vouwen van dozen, op twee robotlichamen met 75%+ succes. We maken het systeem, de data en het model open-source beschikbaar op https://egosteer.github.io/.
Nabewerking is essentieel voor het verfijnen van de domeinspecifieke capaciteiten van grote taalmodellen (LLM's), maar bestaande methoden voor beloningsoptimalisatie en distributiematching koppelen beleidsverkenning strak aan distributie-afstemming. Deze koppeling dwingt dure exploratie direct op het beleidsmodel af en belemmert ernstig de asynchrone generatie, het hergebruik en de cross-model overdracht van optimalisatiesignalen. In dit artikel stellen we Proxy-guided Update Signal Transfer (PUST) voor, een nieuw nabewerkingsraamwerk dat update-signaalexploratie fundamenteel ontkoppelt van distributie-afstemming. In plaats van het primaire model te gebruiken voor dure exploratie, zet PUST een lichtgewicht proxymodel in als een efficiënte testomgeving om gedragingen met hoge beloningen te ontdekken. We extraheren het relatieve verbeteringssignaal tussen de initiële en geoptimaliseerde toestand van de proxy en dragen deze directionele update over naar het primaire model om diens beleidsafstemming te sturen. Deze ontkoppelde pijplijn, bestaande uit proxy-exploratie, update-signaalextractie en signaaloverdracht, vermindert de computationele overhead aanzienlijk en maakt het mogelijk dat optimalisatiesignalen asynchroon worden gegenereerd, gecachet en hergebruikt. Cruciaal is dat PUST, door relatieve verbeteringen over te dragen in plaats van absolute beleidsdistributies, van nature zwak-naar-sterk verbetering en naadloze cross-model overdracht ondersteunt. Systematische evaluaties op modellen uit de Qwen3-familie op het gebied van wiskunde en code tonen aan dat updatesignalen die zijn geëxtraheerd uit aanzienlijk zwakkere proxy's robuust en aanpasbaar sterkere primaire modellen kunnen verbeteren. Uiteindelijk transformeert PUST nabewerking van een monolithisch online optimalisatieproces naar een zeer modulair, herbruikbaar en kostenefficiënt paradigma.
Verkenning is essentieel voor betrouwbare autonomie in multi-agentsystemen, maar het blijft onduidelijk of agenten op basis van grote taalmodellen (LLM's) effectief kunnen verkennen wanneer ze met elkaar interageren. Wij tonen aan dat moderne LLM-agenten hier niet in slagen; ze vertonen vaak kortzichtige en gepolariseerde interactiepatronen die leiden tot suboptimale coördinatie en toegenomen regret. We formaliseren deze uitdaging als het Multi-Agent Exploratieprobleem, door het te modelleren als een gedeeltelijk waarneembaar stochastisch spel (POSG) waarin agenten peers moeten aftasten om hun capaciteiten af te leiden en effectieve interactiestrategieën te identificeren. Om dit aan te pakken introduceren we Multi-Agent Contextuele Exploratie (MACE), een lichtgewicht raamwerk dat expliciet exploratie bevordert via gestructureerde peerselectie. Zowel in contextuele als parametrische diversiteitsinstellingen verbetert MACE het exploratiegedrag en de prestaties op stroomafwaartse taken aanzienlijk. We tonen verder theoretisch aan dat de waarde van exploratie toeneemt met agentdiversiteit. Over het geheel genomen benadrukken onze resultaten een fundamentele beperking van huidige LLM-agenten en onderstrepen ze het belang van expliciet gestuurde exploratie voor betrouwbare multi-agent autonomie. Code wordt uitgebracht op https://github.com/deeplearning-wisc/mace.
Het begrijpen van hoe complexe cognitieve functies zijn georganiseerd binnen kunstmatige systemen is essentieel voor het interpreteren van grote taalmodellen (LLMs) en het relateren ervan aan biologische cognitie. Hoewel LLMs breed cognitief-achtig gedrag vertonen, blijft het onduidelijk of hun interne representaties reproduceerbare functionele systemen vormen die gedrag, falen en verbanden met menselijke cognitie verklaren. Hier presenteren we NeuroCogMap, een raamwerk geïnspireerd op de cognitieve neurowetenschappen dat interne kenmerken van LLMs in functionele parcelen indeelt en deze koppelt aan interpreteerbare functies, cognitieve vermogens en een cognitieve hiërarchie. Deze parcelen vormen een stabiele en semantisch coherente organisatie die gedeeltelijk behouden blijft over modellen heen en functioneel verbonden is met modeluitvoer. Binnen deze organisatie corresponderen belangrijke LLM-storingen, waaronder hallucinatie, bias, weigeringsfalen en vleierij, met specifieke verstoringen in representatie- en gedragscontrolesystemen, wat leidt tot interne signaturen voor mechanismegestuurde detectie en gerichte interventie. Naast modelgedrag verbetert NeuroCogMap de voorspelling van menselijke corticale responsen tijdens naturalistisch taalbegrip, met de sterkste overeenkomst in de hogere-orde-associatiecortex. Op cognitief niveau onthullen de interne signaturen latente strategieën die verfijningen van klassieke modellen van menselijke besluitvorming sturen. Samen vestigen deze bevindingen NeuroCogMap als een raamwerk op systeemniveau voor het in kaart brengen van functionele organisatie in kunstmatige systemen en voor het relateren van deze organisatie aan menselijke corticale functie en cognitief gedrag.
Taalmodellen worden steeds vaker ingezet voor morele besluitvorming in uiteenlopende taalkundige en culturele contexten, maar bestaand onderzoek verwaarloost meertaligheid op drie aspecten: 1) meertalige evaluatiebenchmarks gebruiken directe vertaling en passen cultuurspecifieke elementen niet aan; 2) inferentiemethoden voor moreel redeneren steunen op statische, Engelstalige raamwerken en missen een verankering in morele theorie; 3) trainingsmethoden voor morele besluitvorming vereisen doorgaans dure supervisie van sterkere modellen of menselijke annotatoren. Wij vullen deze hiaten aan met drie bijdragen. Ten eerste introduceren we MCLASH, een meertalige benchmark voor morele besluitvorming die cultureel gesitueerde morele intuïties en sociale normen in verschillende talen vastlegt. Ten tweede stellen we MET (Multilingual Ethics with Theory-grounded reasoning) voor, een tweetraps promptmethode gebaseerd op door experts samengestelde, theoretische grondslagen uit de psychologie en filosofie: het model selecteert eerst situatie- en cultuurspecifieke grondslagen en redeneert vervolgens in de moedertaal van de gebruiker. Ten derde introduceren we MET-D (MET-Distillation), dat de tweede stap verbetert via een zelfdistillatietrainingsfase die geen externe supervisie vereist. MET-D verbetert de macro-F1 ten opzichte van het basismodel voor alle drie modellen van verschillende grootte en families (Qwen3-4B, Qwen3-8B, Gemma3-4B) met gemiddeld 3,71 punten op MCLASH en 4,23 op MMoralExceptQA, met een piekverbetering van 12,94 punten voor Maleis op Qwen3-8B. Verder tonen we aan dat MET-D het redeneren in de moedertaal gemiddeld met 62,13 punten verhoogt en dat voordelige grondslagen systematisch verschillen per cultuur. Samen openen deze bijdragen de weg naar cultuurafgestemd, theoretisch onderbouwd meertalig moreel redeneren.
Virtueel passen (VTO) heeft aanzienlijke vooruitgang geboekt in het realistisch overbrengen van kledingstukken op een doelpersoon. Toch geven de meeste systemen de gebruiker weinig controle over hoe een kledingstuk gedragen moet worden – de maat (los of nauwsluitend), stijl (bijv. ingestopt of niet, open of dicht) en ruimtelijke plaatsing op het lichaam. We vullen deze leemte met twee complementaire bijdragen. Ten eerste definiëren en lossen we Visual-Instance-Prompt Segmentation via VIP-SAM op: gegeven een flatlay-afbeelding van een kledingstuk, segmenteer die specifieke instantie in een foto van een persoon die het draagt. Dit is een taak op instantieniveau, verschillend van de typisch bestudeerde segmentatie op categorieniveau. Ten tweede introduceren we CtrlVTON, een controleerbaar VTO-raamwerk dat passen herdefinieert als een beeldbewerkingsprobleem en segmentatiemaskers toevoegt als pixel-niveaucontrole over de lay-out van kleding, inclusief stijl, maat en ruimtelijke plaatsing op het lichaam. VIP-SAM en CtrlVTON behalen elk state-of-the-art resultaten op hun respectieve taken. In het bijzonder genereert CtrlVTON beelden die de door de gebruiker opgegeven lay-outs veel getrouwer volgen dan de sterkste propriëtaire bewerkingssystemen, terwijl het hen evenaart in kledinggetrouwheid.
Recente funderingsmodellen voor beeld- en videogeneratie bieden sterke generalisatie en controleerbaarheid, maar hun directe toepassing in belichaamde scenario's wordt beperkt door vereisten voor multi-view consistentie, geometrische coherentie en beperkingen van robotbelichaming. Bestaande methoden passen funderingsmodellen doorgaans aan met beperkte robotdata, waarbij vaak visuele kennis verloren gaat die is verworven tijdens grootschalige pre-training. Wij presenteren Xiaomi-Robotics-U0, een multimodaal autoregressief model met 38 miljard parameters voor uniforme belichaamde synthese. Het behandelt belichaamde generatie als een uitbreiding van funderingsmodellen voor beeld- en videogeneratie en optimaliseert gezamenlijk tekst-naar-beeld generatie, beeldbewerking, generatie van belichaamde scènes, belichaamde overdracht en generatie van belichaamde video's. Dit uniforme raamwerk behoudt de generalisatie van het vooraf getrainde wereld funderingsmodel terwijl het wordt aangepast aan belichaamde omgevingen. Xiaomi-Robotics-U0 is het eerste model dat hoogwaardige multi-view scènegeneratie ondersteunt voor meerdere robotbelichamingen en gestructureerde, controleerbare belichaamde overdracht introduceert voor fijnmazige bewerking, met behoud van multi-view consistentie en interactiedynamiek. Het behaalt state-of-the-art resultaten op taken voor enkelstaps- en sequentiële generatie, overtreft GPT-Image-2.0 in menselijke evaluaties van belichaamde scènegeneratie en -overdracht, staat op de eerste plaats op World Arena voor generatie van belichaamde video's en verbetert het out-of-distribution succespercentage van pi_0.5 van 36,9% naar 63,2% bij uitdagende manipulaties in de echte wereld. Deze resultaten tonen aan dat funderingsmodellen voor de wereld kunnen dienen als zowel belichaamde wereldmodellen als schaalbare data-engines voor belichaamde intelligentie. Code en controlepuntbestanden zijn beschikbaar op https://robotics.xiaomi.com/xiaomi-robotics-u0.html.
Het genereren en bewerken van iemands gezicht vereist hoge precisie, aangezien zelfs kleine wijzigingen de waargenomen identiteit van een persoon aanzienlijk kunnen veranderen. Huidige personalisatie- en bewerkingsmethoden die zijn gebaseerd op algemene tekst-naar-beeld modellen missen echter vaak de precisie die nodig is voor fijnmazige gezichtsbewerkingen. We presenteren een methode voor fijnmazige identiteitsafstemming in tekst-naar-beeld personalisatiemodellen. In tegenstelling tot standaard beeldbewerking, die werkt op een gegeven afbeelding, wijzigt identiteitsafstemming de latente representatie van een specifieke identiteit, waardoor de generatie van diverse afbeeldingen mogelijk wordt die consistent dezelfde bewerkte identiteit weergeven. Om fijnmazige latente identiteitsafstemming mogelijk te maken, verkennen we de latente ruimte van een vooraf getrainde, bevroren encoder voor tekst-naar-beeld personalisatie. Onze aanpak vereist geen extra training. In plaats daarvan maakt het gebruik van de bestaande architectuur van een bevroren encoder om latente semantische richtingen te ontdekken. Deze ruimte bestaat uit een set latente tokens die verschillende rollen spelen bij het vastleggen van verschillende aspecten van een identiteit en vaak overeenkomen met specifieke ruimtelijke of semantische gezichtsregio's. We laten zien dat betekenisvolle richtingen kunnen worden geïdentificeerd binnen deze ruimte en binnen deelruimten gedefinieerd door geselecteerde tokens, waardoor gelokaliseerde, fijnmazige en semantisch coherente bewerkingen mogelijk worden. We valideren onze aanpak door middel van kwalitatieve en kwantitatieve experimenten die diverse gelokaliseerde gezichtsbewerkingen demonstreren, terwijl de consistentie van de identiteit over afbeeldingen heen behouden blijft. Projectpagina op: https://garibida.github.io/IdentityTuning/
Dit werk verkent de bewegingsoverdracht van de ene video naar de andere, wat cruciaal is in animatie voor uiteenlopende karakters. Eerder werd video-bewegingsoverdracht grotendeels onderzocht tussen menselijke en mensachtige karakters, wat veel toepassingen in digitale creatie mogelijk maakte. Deze benaderingen stuiten echter op een belangrijke beperking. Specifiek zijn de gerelateerde technische pijplijnen sterk afhankelijk van een vooraf gedefinieerde menselijke skeletstructuur en vereisen dienovereenkomstig skelet-afhankelijke modeltraining. Aan de ene kant zijn deze methoden moeilijk te generaliseren naar diverse karakters, zoals dieren van verschillende soorten, terwijl hun unieke bewegingsstijlen behouden blijven. Aan de andere kant is gelabelde data voor diverse skeletten beperkt, wat de grootschalige training voor deze taak extra beperkt. In dit artikel stappen we uit het skelet-gebaseerde bewegingsoverdrachtskader en stellen we een trainingsvrij bewegingsoverdrachtskader voor, genaamd Motion4Motion. Motion4Motion modelleert de bewegingsstroom van het karakter in een video in plaats van skeletten, wat bewegingsoverdracht over soorten heen vergemakkelijkt. Uitgebreide experimentele resultaten en nieuwe toepassingen tonen aan dat onze methoden de basislijnen aanzienlijk overtreffen. De projectpagina is beschikbaar op https://lhchen.top/Motion4Motion.
Flow matching over zorgvuldig ontworpen latente representaties is recentelijk uitgegroeid tot een krachtig paradigma voor topologiebewuste meshgeneratie. Bestaande aanpakken modelleren vertices en connectiviteit echter gezamenlijk in een gezamenlijke latente ruimte, waardoor continue vertexgeometrie wordt verstrengeld met discrete combinatorische structuur; dit bemoeilijkt het flow-leren en uit zich in afdrijvende vertices en gebroken oppervlakken. Wij presenteren LATO.2, een gefactoriseerd flow matching raamwerk dat meshgeneratie ontleedt in een vertex-flow gevolgd door een connectiviteitsflow geconditioneerd op de gerealiseerde vertices, waarbij beide fasen verankerd zijn aan een gedeeld grof voxel-skelet. Specifieke VAE's ondersteunen de twee fasen, herstellen vertices met subvoxelprecisie en bedden discrete connectiviteit in een continue latente ruimte in. We tonen twee voordelen aan die uniek zijn voor deze factorisatie: (i) partsgewijze generatie, waarbij het skelet wordt opgedeeld en elk onderdeel op volledige latente capaciteit wordt gesynthetiseerd, wat aanzienlijk hogeresolutiemeshes oplevert dan een monolithisch latent toestaat; en (ii) topologieadaptief bewerken, waarbij het manipuleren van vertices uit de eerste fase de bijbehorende connectiviteit induceert zonder heroptimalisatie. Experimenten tonen aan dat LATO.2 state-of-the-art topologiebewuste meshgeneratoren overtreft in geometrische getrouwheid en connectiviteitskwaliteit.
Waarom levert contrastief leren met eenvoudige afbeeldingen en augmentaties bruikbare representaties op voor downstream taken? We behandelen deze vraag door de optimale representatie analytisch te berekenen in termen van een contrastief verlies voor een reeks basisaugmentaties en elke beelddataset met stationaire statistiek. We tonen aan dat voor bepaalde augmentaties het optimum kan worden bereikt door een CNN waarvan de eerste laag filters sinusoïden zijn, gevolgd door een puntgewijze niet-lineariteit, globale gemiddelde pooling en een laatste lineaire laag die gedeeltelijke witmaking uitvoert. We laten ook zien dat de optimale gewichten in dergelijke CNN's voor complexere augmentaties nog steeds sinusoïden zijn. De frequenties van de sinusoïden en hun gewichten kunnen worden berekend met behulp van een eenvoudig wateropvulalgoritme, gegeven het verwachte vermogensspectrum van de dataset. Experimenten met verschillende beelddatasets en augmentaties tonen aan dat dergelijke CNN's, getraind met SGD, empirisch sinusoïden leren in hun eerste laag en gedeeltelijke witmaking uitvoeren.
Huidige Video Grote Taalmodellen (Video LLM's) blinken uit in vraagbeantwoording (QA), maar functioneren grotendeels als black boxes, waarbij ze tekstuele antwoorden geven zonder verifieerbare visuele verankering. Bestaande verklaarbaarheidsinspanningen vertrouwen op tekstuele motiveringen of schaarse begrenzingskaders, die moeite hebben met het vastleggen van complexe videodynamiek zoals occlusies en niet-rigide vervormingen. We stellen Evidence-Backed Video Question Answering (E-VQA) voor, een nieuwe taak die van modellen vereist om gezamenlijk een semantisch antwoord en precieze spatiotemporele evidentie te geven: temporele segmenten en dichte, gevolgde objectsegmentatie-masklets. Ter ondersteuning hiervan introduceren we ST-Evidence, de eerste door mensen geverifieerde benchmark voor zowel discriminatieve als generatieve pixel-niveau verankering. Evaluaties van state-of-the-art modellen onthullen een kritische ontkoppeling tussen QA-nauwkeurigheid en echte visuele perceptie, die alleen opschalen niet kan overbruggen. Om dit aan te pakken, ontwikkelen we schaalbare, geautomatiseerde generatiepijplijnen om ST-Evidence-Instruct te creëren, een dataset op 160k-schaal die hoogwaardige redenering overbrugt met fijnmazige verankering. Fijnafstemming van verankerde Video LLM's op deze data levert aanzienlijke winst op ten opzichte van de overeenkomstige grootte-gematchte UniPixel-baselines (bijv. +27,2 t-mean en +13,8 J&F op een 7B-model), waarmee een robuuste basislijn wordt gevestigd voor uitlegbare, door evidentie ondersteunde videobegrip. Code en data zijn beschikbaar op https://github.com/SalesforceAIResearch/EVQA.