《科学修仙实验室》——第一期.src的筛选及facebuilder效果

helas

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

src选取素材的比例问题：

玩dfl断断续续也有一段时间了，分享给大家一些经验；这篇分项主要是对于src素材的筛选及配比。

我们炼丹之后合成的视频多多少少会遇到以下几个问题，其实下列问题都可以用src的素材来解决。
1、肤色问题：

皮肤在不同场景、灯光下，所呈现的肤色是不同的，比如下图的src中，呈现了4中不同的肤色效果；

[img][/img]

《1》、正常肤色，

《2、3》、棕色肤色；

《4》、红色灯光下的肤色；

这样的src对于训练出的肤色很不友好；解决这类问题就采用一个很简单的方法，加入你想要肤色的素材，数量需要超过50%的素材总量；在这里说明一下我自己的src配比，

src总量：10000张
红脸总量：130张左右，侧脸

棕色脸总量：6000张左右，正、侧脸、仰视、俯视

正常肤色总量：200张左右，侧脸；

facebuilder模型脸：700张左右，极限角度；

其他零散素材：2000张左右，极限角度；

利用colab训练20W，且bs=10，如下图：【这里利用的模型是五彩老哥分项的神丹，自己改了wf脸型】

右侧短色块为脸色取值，长色块为超过50%的素材取值，可以看出短色块几乎与长色块的肤色相近，训练的时间很短，且是利用其它src跑过一段之后，再次利用新src跑出的结果，估计再有10W训练量就可以完全匹配肤色；（2号图的dst阴影较重，所以颜色可以接受）

当然可能你想要的素材没有那么多，最简单的方法就是“复制”+“粘贴”；人为提高src数量，将其在训练中的权重提高；

提高后的效果如下：

图3中，我们也可以看到利用facebuilder作出的模型与真脸差异较大，但是输出的内容在神态和肤色上依旧与想要呈现的效果一致，1的肤色已经产生变化，其他两个也开始有趋势了；所以不要纠结于细节，要的只是脸型数据，其他的细节和内容神丹可以根据大量的素材自己处理；假如，各种肤色的素材都占大比例，那么输出时很大概率会出现肤色不一致，假如你又开启了rct等颜色设置，那么肤色的差异可能更大，对于模型给出的颜色选择，我也研究了一下算法论文，在这就不做详细说明了，总之选素材要慎重；

2、脸型问题：

同一人在不同年龄或者情境下的脸型变化极大的情况【年龄自然衰老及整容等情况】；

这样的情况，需要酌情考虑你自己想要换成哪个情境下的src，比如src有20、40岁的素材，你想要输出20岁的，那么请将20岁的素材量加大，最少需要占比50%，或者其它src素材占比不 超过10%【保守估计】；

3、神态细节问题：

神态问题也可以总结为细节问题，这一点对于开启GAN POWER的影响巨大，如2的问题一样，开始gan power极有可能出现皱纹等细节；解决方式还是加大年轻的素材量或者减少中年素材，又或者自行处理不理想素材；

扩展：

1、当然这个问题是可以扩展出来的，比如根据dst的肤色及情境人为的处理src，是两方更接近，那么训练出的肤色匹配度会更高，细节更真实；

2、也可以根据想要的效果批量处理src素材；比如处理利用ps批量处理光照等问题。

总结：

如果你已经选择了换脸的目标，并且精准的定位到了年龄、情境等，那么可以采用以下建议：

1、最好选择一个镜头内的素材；

2、如果1的素材中，缺失多个角度、表情的元素，那么可以少量补充这些素材，可以是不同时期，不同镜头的素材，但是注意数量不要太多；

3、尽量使用一个年龄时期的素材【针对同一个人，不同时期脸型变化较大的情况】；

建议：

1、尽量使用你想输出的src素材；总占比50%左右；也可以精准查找与dst相近的素材；

2、极限角度和表情可以使用其它情境素材，【就是为了取脸型，其他的数据系统将自动根据你的素材“脑补”】；

3、也可以自己批量处理不理想但无法代替的src素材；

这个系列可能会稀稀拉拉的更新……并且永不收仙丹。

最后给大家拜个早年！

helas

图1和图3过大，不能上传了，我稍微研究一下，多年不用论坛了……

mango1

facebuilder的使用方法  楼主这个能详细讲一下么

helas

mango1 发表于 2021-2-5 14:53
facebuilder的使用方法  楼主这个能详细讲一下么

B站有教程视频，步骤太多，图还大，图文介绍太麻烦了。

helas

图1、3以图床的方式上传了，假如图挂了，私信我就行。

后会无期

谢谢分享，纯技术文章值得支持

poiu88

谢谢分享

tot1213

感谢分享

youdong

五彩的神丹在哪个帖子里可以买到啊？

tudoudigua217

感觉好高端啊