见过用 GAN 来 P 图，见过用 GAN P 视频吗。瞧，原本一直在面无表情地讲话的人，全程露出了微笑，原本得 4，50 岁的人，直接变 20 几岁了:

另一边，正在微笑唱歌的赫敏一下子愤怒起来，还能换上一张几岁小孩的脸:

美国前总统也如此，4 种版本的面部状态信手拈来，甚至连性别都给 P 成女的了:

不管人脸表情和状态如何变化，这些视频都没有给人任何违和感，全程如此的丝滑～哦对，除了真人，动漫视频里的脸也可以 P:

有点厉害了。

这个模型出自以色列特拉维夫大学。Collins等人的方法没有准确地转移细节属性，Suzuki等人在姿势不匹配时产生的图像不够真实。。

1，输入视频首先被分割成帧，每帧中的人脸都被裁剪下来并对齐，

2，使用预训练的 e4e 编码器，将每张已裁剪的人脸反演到预训练的 StyleGAN2 的潜空间中，

3，在所有并行帧中使用 PTI对生成器进行微调，纠正初始反演中的错误，恢复全局一致性，

6，反转对齐步骤，并将修改后的人脸粘贴回视频中。

注意颈部曾产生了大量瑕疵，在最后一步完全修复好

和 SOTA 模型对比

这个模型效果到底有多好，来个对比就知道:

第一个是变年轻，第二，三个都是变老可以明显看到目前的 SOTA 模型和 PTI 模型中的人脸会抽巴，并出现一些伪影，而这个新模型就避开了这些问题

此外，研究人员还进行了时间一致性测试。指标包含两个:

局部时间一致性，通过现成的一致性检测网络来评估相邻两帧之间的一致性TL—ID 分数越高，表明该方法产生的效果越平滑，没有明显的局部抖动

全局时间一致性，同样使用一致性检测网络来评估所有可能的帧之间的相似性得分为 1 表示该方法成功保持了和原视频的时间一致性

结果如下:

可以看到，这个新模型在两项指标中都略胜一筹。

最后，代码将于 2 月 14 号发布，感兴趣的朋友可以蹲一蹲了～

论文地址:

项目主页: