每日精選AI研究論文及翻譯
輝度場方法最近已經徹底改革了使用多張照片或視頻捕捉的場景的新視角合成。然而，要實現高視覺品質仍需要昂貴的神經網絡進行訓練和渲染，而最近的更快方法不可避免地在速度和品質之間做出取捨。對於無限且完整的場景（而不僅僅是孤立的物體）和 1080p 分辨率渲染，目前沒有任何方法能夠實現實時顯示速率。我們引入了三個關鍵元素，使我們能夠實現最先進的視覺品質，同時保持具有競爭力的訓練時間，並且重要的是實現高質量的實時（>= 30 fps）新視角合成，分辨率為 1080p。首先，從相機校準期間生成的稀疏點開始，我們用保留了連續體積輻射場的理想特性的 3D 高斯函數來表示場景，以進行場景優化，同時避免在空白空間中進行不必要的計算；其次，我們對 3D 高斯函數執行交錯優化/密度控制，特別是優化各向異性協方差以實現對場景的準確表示；第三，我們開發了一種快速的可見性感知渲染算法，支持各向異性飛濺，加速訓練並實現實時渲染。我們在幾個已建立的數據集上展示了最先進的視覺品質和實時渲染。
諂媚是一種不良行為，指模型根據人類用戶的觀點調整其回應，即使該觀點在客觀上並不正確（例如，一旦用戶透露自己是自由主義者，模型便調整為支持自由主義觀點）。本文研究語言模型中諂媚行為的普遍性，並提出一種簡單的合成數據干預方法來減少這種行為。 首先，在三個諂媚任務集合（Perez等，2022）上，這些任務要求模型對沒有正確答案的陳述（例如政治）發表意見，我們觀察到，對於PaLM模型，無論是模型規模還是指導調整都會顯著增加諂媚行為，直至達到540B參數。其次，我們將諂媚評估擴展到明顯不正確的簡單加法陳述，發現儘管模型知道這些陳述是錯誤的，但如果用戶也這樣認為，語言模型仍會同意這些陳述。 為了減少諂媚行為，我們提出了一個簡單的合成數據干預方法，該方法利用公共自然語言處理任務，鼓勵模型對這些任務上的用戶意見保持強大。在輕量級微調步驟中添加這些數據可以顯著減少對留存提示的諂媚行為。生成用於干預的合成數據的代碼可在https://github.com/google/sycophancy-intervention 找到。
警告：本文含有可能不適當或冒犯性的內容。 隨著生成模型在各種應用中開始對公眾開放，測試和分析這些模型的弱點已成為當務之急。在這裡，我們提出了一個自動紅隊框架，評估給定模型並揭示其對不安全和不當內容生成的弱點。我們的框架使用上下文學習在反饋循環中紅隊模型，並觸發它們生成不安全的內容。我們提出了不同的上下文攻擊策略，以自動學習對文本到圖像模型有效且多樣化的對抗提示。我們的實驗表明，與基準方法相比，我們提出的策略在揭示 Stable Diffusion（SD）模型的弱點方面顯著更為有效，即使後者加強了安全功能。此外，我們證明了所提出的框架對於紅隊文本到文本模型是有效的，導致明顯更高的有毒回應生成率，與先前報告的數字相比。
大規模預訓練視覺語言模型，如CLIP，在零樣本分類方面表現出色，例如在ImageNet上實現了76.3%的頂級1準確率，而無需看到任何示例，這對許多沒有標記數據的任務帶來潛在好處。然而，將CLIP應用於下游目標領域時，視覺和文本領域之間的差距以及跨模態不對齊可能會嚴重影響模型性能。為了應對這些挑戰，我們提出了ReCLIP，這是用於視覺語言模型的第一種無源領域適應方法，不需要任何源數據或目標標記數據。ReCLIP首先學習一個投影空間來減輕不對齊的視覺-文本嵌入，並學習虛標籤，然後使用虛標籤部署跨模態自我訓練，以更新視覺和文本編碼器，優化標籤，並迭代地減少領域差距和不對齊。通過大量實驗，我們展示ReCLIP將CLIP的平均錯誤率從30.17%降低到25.06%，在22個圖像分類基準測試中。
在訓練語言模型（LMs）時使用受版權或其他受限制的數據的合法性正引起激烈辯論。然而，正如我們所展示的，如果僅在低風險文本（例如，過期版權的書籍或政府文件）上進行訓練，模型性能會顯著下降，這是由於其規模有限且領域覆蓋範圍有限所致。我們提出了SILO，這是一種新的語言模型，在推理過程中管理這種風險-性能的平衡。SILO是通過（1）在我們精心策劃的包含228B令牌的公共領域和許可授權文本的新語料庫Open License Corpus（OLC）上訓練參數化LM，以及（2）利用更一般且易於修改的非參數化數據存儲庫（例如，包含受版權保護的書籍或新聞）來擴充它而構建的。在推理過程中僅查詢此數據存儲庫。數據存儲庫允許在未對其進行訓練的情況下使用高風險數據，支持句級數據歸屬，並使數據生產者可以通過從存儲庫中刪除內容來選擇退出模型。這些功能有助於遵守數據使用法規，如美國的合理使用原則和歐盟的GDPR。我們的實驗表明，參數化LM在OLC未涵蓋的領域中遇到困難。然而，存取數據存儲庫極大地改善了跨領域性能，將性能差距與在Pile上訓練的LM（該語料庫主要包含高風險文本）縮小了90％。我們還分析了哪種非參數化方法效果最好，剩餘的錯誤在哪裡，以及性能如何隨著數據存儲庫的大小而提升。我們的結果表明，可以在減輕法律風險的同時構建高質量的語言模型。