绿幕是影视剧中抠图、换背景的利器，但如果不在绿幕前拍摄，我们还能完美地转换背景吗？华盛顿大学的研究者最近就上传了这样一份论文，不在绿幕前拍摄也能完美转换视频背景，让整个世界都变成你的绿幕。
从作者给出的 demo 可以看到，他们的方法效果非常惊艳，即使视频中的人疯狂甩头发也没有影响合成效果：
在论文中，研究者提出了一种创建蒙版（matting）的新方法。多数现有的蒙版方法都需要以绿幕为背景，或者手工创建一个三元图（trimap）。当然，也有些自动方法不需要三元图，但效果会很差。本文提出的这个蒙版方法也不需要三元图，但抠图、换背景效果要更好。
当然，达到这么好的效果是有条件的。除了原始图像/视频之外，研究者还要求拍摄者多拍一张不带人物的背景图。这一过程要比创建三元图节省很多时间。研究者用对抗损失训练了一个深度网络，用来预测蒙版。他们首先利用带有 ground truth 的合成数据训练了一个具有监督损失的蒙版网络。为了在不加标记的情况下缩小合成图像与真实图像的差距，他们在第一个网络的指导下训练了另一个蒙版网络，并通过一个判别器来判断合成图像的质量。研究者在诸多图像和视频上测试了他们提出的新方法，发现这一方法显著优于之前的 SOTA。
在关于这一论文的讨论中，我们可以看到很多潜在的应用场景，比如 vlog（云旅游）、视频会议等。
对于广大「烟酒僧」来说，如果导师下次再让你发一段在实验室工（摸）作（鱼）的视频，或许也能用得上呢。
系统的输入是一张图像或一个视频，图像/视频中的人站在静态的自然背景前，此外还需输入一张纯背景图。背景图的获取很简单，只需要让人物走出取景区域，然后操作曝光、焦距都已固定的相机进行拍摄（如智能手机相机）。对于手持相机，研究者假设相机的移动幅度很小，利用单应性（homography）将背景与给定的输入图像对齐。从输入中，研究者还提取了目标人物的软分割。对于视频输入，可以添加临近的帧来辅助生成蒙版。
研究者首先在 Adobe Matting 数据集（只用不透明物体的图像）上训练了一个深度蒙版网络。该网络将带有人物的图像 I、纯背景图像 B』、人物 S、相邻帧的时间堆栈 M（可选）的软分割作为输入，输出则是一个前景图 F 和一个前景蒙版α。为了生成 S，研究者应用了人物分割、腐蚀（erode）、膨胀（dilate）以及高斯模糊。在处理视频时，他们将 M 设为 I 前后相连的两帧。设两帧间隔为 T，则选取的相邻帧为 {I−2T , I−T