【金鱼基础模型库】用于补全SRC极限角度

无敌小金鱼 · 发表于 2021-11-15 15:41:37

星级打分

1
2
3
4
5

平均分:5 参与人数:14 我的评分:未评

本帖最后由无敌小金鱼于 2023-2-8 16:41 编辑

https://dfldata.xyz/forum.php?mod=viewthread&tid=445
之前随风大佬写了一篇补全SRC素材的文章，里面他做了一套基础模型库，主要用于补全SRC所没有的角度，不过我用后感觉CG感太重，而且没有什么表情，换出来的人不是特别好，脑袋也有点大，所以我用高模自己做了一套基础模型库，基本按照标准的东方脸型来做的，包含了大概十几种常见的表情，且每一个表情都是全角度采集，还有一些比较那啥的表情，针对日常的环境基本上也够用了。

简单来说原理就是你的SRC缺少很多角度，然后用这套DST模型库让它去学习，经过训练生成比较像的新的角度图，然后把这些角度图重新切脸，再放回SRC里继续训练，经过多次的转换得以补全所有你的SRC的全部角度，需要一定的时间和步奏，但这应该是目前补全角度的最优方案了。

这套模型库已做过landmark修复，可以直接使用，为512WF切脸，已经包含了上下左右中全部角度，所以训练的时候DST翻转要关掉，其他就按训练的三大步骤走就行：小BS勾勒轮廓大BS细化五官大BS加强细节

简单更新一下使用教程：

游客，如果您要查看本帖隐藏内容请回复

预览图和角度分别图

角度分布图

无敌小金鱼 · 发表于 2021-11-16 01:16:49

qoungyoung 发表于 2021-11-15 19:53
关闭dst翻转->放到dst训练->合成dst->合成后的人脸切图后重新放到src充当数据集，请问是这样一个流程吗 ...

对，就是这个流程，主要是这套基础库是接近真人的高模，拥有极限角度的同时包含了羞羞的表情，而且不需要处理头发这些东西，比较标准的亚洲脸型，适用性很广，群里大佬们已经测试了可以很快把SRC原本没有的角度和表情逼出来。

最终的效果还不错就合成出来重新切脸丢进SRC里继续跑，后面就会越来越快。新提的脸记得重命名，也可以替换掉以前SRC里不够好的角度，总之过程会有点繁琐，但一劳永逸最终得到一套相对齐全的素材。

无敌小金鱼 · 发表于 2022-3-8 02:34:22

zhihui2345 发表于 2022-3-4 01:03
这个可以和随风那个放到一起，以补充dest角度么，按道理已经足够了，但是不是越多越好，还有请教下大佬，这 ...

不需要和随风的混用，我这套就是替代他的那套，角度和表情都比他那套全。

第一步：开扭曲 DST翻转关闭打开遮罩 BS4跑 loss值到0.3-0.4
第二步：关扭曲（也可以不关）开眼嘴和侧脸优化，lrd开 trueface（如果SRC不是很像就开一点）BS开到显卡能承受的最大值无需关心loss值眼睛判断效果感觉合适了就停。
第三步：除了遮罩上面的都关了只开gan BS最大值

第三步可以再最后一轮的时候开，也就是你跑完两三轮觉得角度补全差不多了以后。

无敌小金鱼 · 发表于 2022-3-4 00:13:52

WinKK 发表于 2022-3-3 17:25
其实我还是有一点担心的地方，当我们用这种方法补进去了5000多张各种角度的SRC，虽然基本解决了死角的问题 ...

把新生成的5000多张SRC单独放到一个文件夹，然后用筛选脚本，把正面20度左右的角度全部提取出来只保留大角度即可。
赛选脚本：https://dfldata.xyz/forum.php?mo ... mp;extra=#pid120180
不太会用就手动筛选

无敌小金鱼 · 发表于 2021-12-5 02:21:45

bcmoon 发表于 2021-12-4 22:09
大佬刚试了第一回,有问题想请教一下
是关于会再放到SRC使用的换脸素材
看随风大佬那帖说不是无论好坏，要看 ...

这种图不要，要循序渐进，你的src缺少的角度越多就得越慢点来，不能指望一两次就补全，相对好的图是所谓的基本五官和脸型要在，可以不那么清楚，也不那么像，但能保证正常的lanmak人脸定位点正确，所以你需要手动去筛选提脸，新切段脸记得在编号签重命名一下，比如加个a，下一轮提出更好的脸就可以直接覆盖。

你的训练参数基本没有问题，只有色彩模式不用动改成none，第一轮出来的图色彩可能会有点不统一，但经过多轮以后慢慢就会统一了。

合成的时候超分开1或者更高一点这样出来的就是大图了然后就可以切512的脸图。默认224太小。

luck372649 · 发表于 2022-11-13 21:36:50

无敌小金鱼发表于 2022-3-8 02:34
不需要和随风的混用，我这套就是替代他的那套，角度和表情都比他那套全。

第一步：开扭曲 DST翻转关闭 ...

大佬咨询下您，有两个地方不明白，请求您的指点

1.您说的第一步里那个【打开遮罩】指的就是模糊边缘吧！
2.还有就是第二步那个IRD是那个选项呀？

liebesleid · 发表于 2022-11-12 08:41:02

需要开true face吗?

010817 · 发表于 2022-10-30 02:05:30

大佬请问一下模型训练好之后合并图片时是把基础模型库几万张图全部拿来合并然后丢到src中？还是用刀哥的选择合并工具选一部分模型库的图片来用训练好的模型来合？看了好多帖子研究了好久了还是没搞懂

WinKK · 发表于 2022-3-16 14:54:59

今天把生成的和原SRC当DST，原SRC（不加生成的）做SRC，开始加细节。不知效果如何？

WinKK · 发表于 2022-3-15 06:39:20

跑了近50W，各角度都出来了。不过，极限角度效果还不行（开GAN跑了10W左右）。
这下，算第一次循环结束，要开始第二次循环了。
第二次循环就准备直接把这些加到SRC中，开GAN=0.02，继续跑。看能出什么效果。

不过，有个体会-----其实，这些大角度已经不大能认出是谁了，像不像无所谓，清晰就行