Dagelijkse Papers

Radiance Field-methoden hebben recentelijk een revolutie teweeggebracht in de synthese van nieuwe gezichtspunten van scènes die zijn vastgelegd met meerdere foto's of video's. Het bereiken van hoge visuele kwaliteit vereist echter nog steeds neurale netwerken die kostbaar zijn om te trainen en te renderen, terwijl recente snellere methoden onvermijdelijk snelheid inruilen voor kwaliteit. Voor onbegrensde en complete scènes (in plaats van geïsoleerde objecten) en rendering met 1080p-resolutie kan geen enkele huidige methode real-time weergavesnelheden bereiken. Wij introduceren drie belangrijke elementen die het mogelijk maken om state-of-the-art visuele kwaliteit te bereiken, terwijl de trainingsduur concurrerend blijft en, cruciaal, hoogwaardige real-time (>= 30 fps) synthese van nieuwe gezichtspunten bij 1080p-resolutie mogelijk maakt. Ten eerste representeren we, uitgaande van sparse punten die tijdens de camerakalibratie worden geproduceerd, de scène met 3D Gaussians die de gewenste eigenschappen van continue volumetrische radiance fields behouden voor scèneoptimalisatie, terwijl onnodige berekeningen in lege ruimte worden vermeden. Ten tweede voeren we een intermitterende optimalisatie/dichtheidscontrole uit van de 3D Gaussians, waarbij anisotrope covariantie wordt geoptimaliseerd om een nauwkeurige representatie van de scène te bereiken. Ten derde ontwikkelen we een snel zichtbaarheidsbewust rendering-algoritme dat anisotroop splatten ondersteunt en zowel de training versnelt als real-time rendering mogelijk maakt. We demonstreren state-of-the-art visuele kwaliteit en real-time rendering op verschillende gevestigde datasets.

Slikken is een ongewenst gedrag waarbij modellen hun reacties aanpassen om het standpunt van een menselijke gebruiker te volgen, zelfs wanneer dat standpunt objectief gezien niet correct is (bijvoorbeeld door liberale standpunten over te nemen zodra een gebruiker aangeeft liberaal te zijn). In dit artikel onderzoeken we de prevalentie van slikken in taalmodellen en stellen we een eenvoudige interventie met synthetische data voor om dit gedrag te verminderen. Ten eerste observeren we bij een set van drie slikken-taken (Perez et al., 2022), waarbij modellen om een mening wordt gevraagd over uitspraken zonder correcte antwoorden (bijvoorbeeld politiek), dat zowel modelschaling als instructieafstemming slikken significant verhogen bij PaLM-modellen tot 540B parameters. Ten tweede breiden we de evaluatie van slikken uit naar eenvoudige optelopgaven die objectief onjuist zijn, en constateren we dat taalmodellen, ondanks het weten dat deze uitspraken fout zijn, er toch mee instemmen als de gebruiker dat ook doet. Om slikken te verminderen, presenteren we een eenvoudige interventie met synthetische data die gebruikmaakt van openbare NLP-taken en modellen aanmoedigt om robuust te zijn tegenover gebruikersopvattingen over deze taken. Het toevoegen van deze data in een lichtgewicht fine-tuning stap kan slikgedrag aanzienlijk verminderen bij niet-geziene prompts. Code voor het genereren van synthetische data voor de interventie is te vinden op https://github.com/google/sycophancy-intervention.

Waarschuwing: dit artikel bevat inhoud die ongepast of aanstootgevend kan zijn. Naarmate generatieve modellen beschikbaar komen voor publiek gebruik in diverse toepassingen, is het testen en analyseren van kwetsbaarheden van deze modellen een prioriteit geworden. Hier stellen we een automatisch red teaming-framework voor dat een bepaald model evalueert en de kwetsbaarheden blootlegt tegen het genereren van onveilige en ongepaste inhoud. Ons framework maakt gebruik van in-context learning in een feedbacklus om modellen te red teamen en ze aan te zetten tot het genereren van onveilige inhoud. We stellen verschillende in-context aanvalsstrategieën voor om automatisch effectieve en diverse adversariële prompts te leren voor tekst-naar-beeldmodellen. Onze experimenten tonen aan dat, in vergelijking met baseline-benaderingen, onze voorgestelde strategie aanzienlijk effectiever is in het blootleggen van kwetsbaarheden in het Stable Diffusion (SD)-model, zelfs wanneer dit laatste is versterkt met veiligheidsfuncties. Bovendien laten we zien dat het voorgestelde framework effectief is voor het red teamen van tekst-naar-tekstmodellen, wat resulteert in een aanzienlijk hoger percentage van het genereren van giftige reacties in vergelijking met eerder gerapporteerde aantallen.

Grootschalige vooraf getrainde visie-taalmodellen zoals CLIP hebben uitstekende prestaties getoond in zero-shot classificatie, bijvoorbeeld door een top-1 nauwkeurigheid van 76,3% te behalen op ImageNet zonder enige voorbeelden te hebben gezien, wat potentiële voordelen biedt voor veel taken zonder gelabelde data. Echter, bij het toepassen van CLIP op een downstream doelgebied, kunnen de aanwezigheid van visuele en tekstuele domeinkloeven en cross-modale misalignement de modelprestaties sterk beïnvloeden. Om deze uitdagingen aan te pakken, stellen we ReCLIP voor, de eerste bronvrije domeinaanpassingsmethode voor visie-taalmodellen, die geen brondata of gelabelde doeldata vereist. ReCLIP leert eerst een projectieruimte om de misaligned visuele-tekst embeddings te mitigeren en pseudo-labels te leren, en implementeert vervolgens cross-modale zelf-training met de pseudo-labels om visuele en tekstuele encoders bij te werken, labels te verfijnen en domeinkloeven en misalignementen iteratief te verminderen. Met uitgebreide experimenten tonen we aan dat ReCLIP het gemiddelde foutpercentage van CLIP verlaagt van 30,17% naar 25,06% op 22 beeldclassificatiebenchmarks.

De legaliteit van het trainen van taalmodellen (LMs) op auteursrechtelijk beschermde of anderszins beperkte data staat onder hevige discussie. Echter, zoals we aantonen, verslechtert de modelprestatie aanzienlijk als het alleen wordt getraind op laagrisicotekst (bijvoorbeeld boeken waarop het auteursrecht is verlopen of overheidsdocumenten), vanwege de beperkte omvang en domeindekking. We presenteren SILO, een nieuw taalmodel dat deze afweging tussen risico en prestaties tijdens inferentie beheert. SILO is gebouwd door (1) een parametrisch LM te trainen op het Open License Corpus (OLC), een nieuwe corpus die we hebben samengesteld met 228B tokens van tekst uit het publieke domein en tekst met permissieve licenties, en (2) dit aan te vullen met een meer algemene en gemakkelijk aanpasbare niet-parametrische datastore (bijvoorbeeld met auteursrechtelijk beschermde boeken of nieuwsartikelen) die alleen tijdens inferentie wordt geraadpleegd. De datastore maakt het mogelijk om hoogrisicodata te gebruiken zonder erop te trainen, ondersteunt attributie van data op zinsniveau, en stelt dataproducenten in staat om zich uit het model terug te trekken door inhoud uit de store te verwijderen. Deze mogelijkheden kunnen naleving van gegevensgebruiksregels bevorderen, zoals de fair use-doctrine in de Verenigde Staten en de GDPR in de Europese Unie. Onze experimenten tonen aan dat het parametrische LM moeite heeft met domeinen die niet door OLC worden gedekt. Toch verbetert toegang tot de datastore de prestaties buiten het domein aanzienlijk, waardoor 90% van het prestatieverschil met een LM getraind op The Pile, een meer diverse corpus met voornamelijk hoogrisicotekst, wordt gedicht. We analyseren ook welke niet-parametrische aanpak het beste werkt, waar de resterende fouten liggen, en hoe de prestaties schalen met de grootte van de datastore. Onze resultaten suggereren dat het mogelijk is om hoogwaardige taalmodellen te bouwen terwijl het juridische risico wordt beperkt.