【进阶教程】极大提升换脸分辨率和效果，真正的以假乱真

dahanghaijia · 发表于 2022-11-30 16:32:38

星级打分

1
2
3
4
5

平均分:4 参与人数:3 我的评分:未评

本帖最后由 dahanghaijia 于 2022-11-30 16:32 编辑

对于大部分人来说，AI换脸受限于计算机性能，或者受限于src或者dst分辨率的限制，换脸的效果不尽人意，达不到以假乱真的程度。
对于我本人来说，只有一张1660，从来不敢用192分辨率以上的模型，即使收集了很多高分辨率的素材也没什么作用。而且有时候素材不够高清也导致效果很不理想。最关键是换脸有明显的边缘拼接痕迹。那么这些问题怎么解决呢？

闲话不多说，归功于最近一篇CVPR的论文[Towards Robust Blind Face Restoration with Codebook Lookup Transformer]，他们提出了一个超分辨率模型，非常完美的解决了上述问题，效果非常惊人。

代码也是公开的，可以在GitHub找到[https://github.com/sczhou/CodeFormer]，甚至还给出了colab版本，方便薅资本家羊毛。

我们可以用它来实现：
1.增强src素材。使用超分深度学习网络增强素材分辨率，效果非常惊人，来看一组对比。

还原的人脸非常真实。根据我在CV超分重建领域的了解，这个模型应该是吊打现存的所有模型，包括最近大火的diffusion model扩散模型。

2.增强换脸效果。即使你电脑不行，用的是低配模型，没关系，你可以直接这个增强换脸效果，效果拉满，以假乱真。
首先来看看效果，从左到右依次是原脸，ai换脸，和超分重建后的效果。

放大看，可以发现原本换脸高糊的地方被补充了皮肤细节，真正做到了以假乱真。原来面部轮廓有明显的拼接痕迹，现在直接被修好了。

不多说，大家也看到效果了，我只能说两个字，牛叉！

其实还可以做更多的展示，但是最近在忙没时间。模型其他的功能还有视频增强，但是耗费内存比较大，我16g电脑跑两分钟视频中途内存报错了。不过可以先把视频切成图片，再把图片超分重建。

PS：以上测试的模型用的五彩大佬的DF 192 f_SAEHD。遮罩用的是镇坛之宝。

最后，怎么把这个超分模型用起来？非常简单，大家直接去GitHub上代码的readme，有基础的朋友一看就懂，我就不班门弄斧了。colab版本的话直接一路运行就行，没有任何障碍。本地版本只要搭建好环境后，一行代码就可以解决。

贴子免费，祝大家炼丹快乐。
觉得好用的话下面回复一下，有问题也可以提出来，我看到了可以帮忙解决。