每日精选AI研究论文及翻译
在由 NeRF 表示的 3D 场景中编辑本地区域或特定对象具有挑战性，主要是由于场景表示的隐式特性。将新的逼真对象一致地融入场景中增加了额外的难度。我们提出了 Blended-NeRF，这是一个强大而灵活的框架，用于根据文本提示或图像补丁以及 3D ROI 区域编辑现有 NeRF 场景中感兴趣的特定区域。我们的方法利用预训练的语言-图像模型来引导合成朝向用户提供的文本提示或图像补丁，同时结合一个在现有 NeRF 场景上初始化的 3D MLP 模型来生成对象并将其融入原始场景中的指定区域。我们通过在输入场景中定位 3D ROI 区域来实现本地编辑，并利用一种新颖的体积混合技术将 ROI 内部合成的内容与现有场景无缝融合。为了获得自然且视角一致的结果，我们利用现有和新的几何先验知识以及 3D 增强技术来提高最终结果的视觉保真度。 我们在各种真实 3D 场景和文本提示上定性和定量地测试了我们的框架，展示了与基线相比具有更大灵活性和多样性的逼真多视角一致结果。最后，我们展示了我们的框架在多个 3D 编辑应用中的适用性，包括向场景添加新对象、删除/替换/修改现有对象和纹理转换。
基于深度学习的人脸识别系统取得了成功，但由于其能够在数字世界中实现未经授权的用户跟踪，引发了严重的隐私问题。现有的增强隐私的方法未能生成能保护面部隐私且不影响用户体验的自然图像。我们提出了一种新颖的面部隐私保护的两步方法，依赖于在预训练生成模型的低维流形中找到对抗性潜在编码。第一步将给定的面部图像反转到潜在空间，并微调生成模型，以实现从其潜在编码准确重建给定图像。这一步产生了一个良好的初始化，有助于生成类似给定身份的高质量面部。随后，使用用户定义的化妆文本提示和保持身份的正则化来引导在潜在空间中寻找对抗性编码。大量实验证明，我们方法生成的面部具有更强的黑盒可迁移性，在面部验证任务中绝对增益达到12.06%，超过了最先进的面部隐私保护方法。最后，我们展示了所提方法在商业人脸识别系统中的有效性。我们的代码可在https://github.com/fahadshamshad/Clip2Protect 获取。