每日精選AI研究論文及翻譯
在以 NeRF 表示的 3D 場景中編輯本地區域或特定物件具有挑戰性，主要是因為場景表示的隱式特性。將一個新逼真的物件無縫融入場景中會增加額外的困難。我們提出了 Blended-NeRF，這是一個堅固且靈活的框架，用於根據文本提示或圖像補丁以及 3D ROI 方塊，編輯現有 NeRF 場景中的特定感興趣區域。我們的方法利用預訓練的語言-圖像模型來引導合成，以便朝向用戶提供的文本提示或圖像補丁，並使用在現有 NeRF 場景上初始化的 3D MLP 模型生成物件並將其融入原始場景中的指定區域。我們通過在輸入場景中定位 3D ROI 方塊來允許本地編輯，並使用一種新穎的體積混合技術將 ROI 內合成的內容與現有場景無縫混合。為了獲得自然且視角一致的結果，我們利用現有和新的幾何先驗和 3D 增強來提高最終結果的視覺保真度。 我們在各種真實 3D 場景和文本提示上定性和定量地測試我們的框架，展示與基線相比具有更大靈活性和多樣性的逼真多視角一致結果。最後，我們展示了我們的框架在幾個 3D 編輯應用中的應用性，包括將新物件添加到場景中、刪除/替換/修改現有物件以及紋理轉換。
基於深度學習的人臉識別系統取得成功，卻引發了嚴重的隱私擔憂，因為這些系統能夠在數字世界中啟用未經授權的使用者追蹤。現有的增強隱私方法無法生成能夠保護面部隱私而不影響使用者體驗的自然主義圖像。我們提出了一種新穎的兩步方法來保護面部隱私，該方法依賴於在預訓練生成模型的低維流形中尋找對抗潛在碼。第一步將給定的人臉圖像反轉為潛在空間，並微調生成模型以實現從其潛在碼準確重建給定圖像。這一步產生了一個良好的初始化，有助於生成與給定身份相似的高質量面部。隨後，使用者定義的妝容文本提示和保持身份的正則化被用來引導在潛在空間中尋找對抗碼。廣泛的實驗表明，我們方法生成的面部具有更強的黑盒可轉移性，在面部驗證任務中絕對增益為12.06%，超過了最先進的面部隱私保護方法。最後，我們展示了所提方法對商業人臉識別系統的有效性。我們的程式碼可在https://github.com/fahadshamshad/Clip2Protect 找到。