请教！开GAN以后，再开随机扭曲，原来用GAN的细节还在吗？

avtopalang

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

遇得到的问题，如果关了随机扭曲，那最终合成就像dst了，但是只开扭曲又学习不到细节。现在能想到的就是先GAN个百八十万的，然后再复用的时候开随机扭曲学习表情，有大神讲一下可行吗？

wtxx8888

开扭曲学不到细节？很明确的告诉你，那是你迭代数差了十万八千里的缘故，开扭曲是可以练到肉眼下，与SRC一摸一样的细节

比如那些练到LOSS 0.00位的挂神，根本就不需要GAN

对于你的设想说一句，先GAN是无效的，因为你都是糊图，你的GAN学的也是糊的噪点这也是为啥要求LOSS到0.3及以下，才可以考虑开GAN

dfldata

wtxx8888 发表于 2023-11-23 20:02
开扭曲学不到细节？很明确的告诉你，那是你迭代数差了十万八千里的缘故，开扭曲是可以练到肉眼下，与SRC一 ...

那对于RTM丹(专丹)是不是只需要src在loss0.3以下就OK,dst的loss不用管

wtxx8888

dfldata 发表于 2023-11-23 20:32
那对于RTM丹(专丹)是不是只需要src在loss0.3以下就OK,dst的loss不用管

DST也要啊，首先你要明确！清晰度管的是啥？

面部表情识别率与精准度，你觉得你糊的DST，能被精准识别到细微的表情么？
所以DST也要挑选高清晰度的，代表着高识别率（这个不是训练的识别率，是内部编码的识别率，专丹训练过泛化的，可以直接合成，是因为泛化就是识别率，所以训练专丹,DST要求你越多越杂）

avtopalang

wtxx8888 发表于 2023-11-23 20:02
开扭曲学不到细节？很明确的告诉你，那是你迭代数差了十万八千里的缘故，开扭曲是可以练到肉眼下，与SRC一 ...

扭曲也许会学到细节，不过，loss到0.01一下？确定吗？练3年？还是10年？我的意思是扭曲到一定程度，然后就开GAN，如果扭曲能保留gan的细节，那就在开扭曲，我的理解，扭曲就是学习表情的，和细节无关。

8：启用样本的随机扭曲（y/n ？：help）：随机扭曲用于泛化模型，使其在初始训练阶段正确学习面部特征和表情，但只要启用它，模型可能难以学习精细的细节 - 因此，建议这样做要保持此功能启用状态，只要您的面部仍在改善（通过查看预览窗口中的损失值减少和面部改善），并且一旦所有看起来都正确（并且损失不再减少），您应该禁用它以开始学习详细信息，从那时起，除非您通过应用某些设置的高值来破坏结果（样式、功率、 真实面孔等），或者当您想重用该模型来训练具有相同源的新目标视频时，或者当重用新的 SRC 和 DST 组合时，您始终在启用 RW 的情况下开始训练。默认值为 y（启用）。

启用 HSV 电源 （ 0.0 .. 0.3 ？：help ） ：在训练期间仅对 SRC 数据集应用随机色调、饱和度和亮度变化，以提高颜色稳定性（减少闪烁），还可能影响最终结果的颜色匹配，此选项具有略微平均 SRC 集颜色的效果，因为 SRC 样本的 HSV 偏移仅基于 SRC 样本中的颜色信息，并且可以组合使用颜色转移 （CT）、功率（质量），如果您碰巧在没有 CT 的情况下获得更好的结果，但只需要使结果面部的颜色更加稳定和一致，则此选项会降低或在没有它的情况下使用，要求您的 SRC 数据集在照明条件（方向、强度和色调）方面具有多种多样性， 建议值为 0.05。

GAN power （ 0.0 .. 10.0 ？：help ） ： GAN代表生成对抗网络，在DFL 2.0的情况下，它被实现为一种额外的训练方式，以获得更详细/更清晰的面孔。此选项可在 0.0 到 10.0 的范围内进行调整，并且只有在模型或多或少完全训练后（在禁用样本的随机扭曲并启用 LRD 之后）才应启用此选项。建议使用较低的值，例如 0.01。确保在开始训练之前备份您的模型（如果您不喜欢结果、获取 artifcats 或您的模型崩溃）。启用后，将显示另外两个设置来调整 GAN 的内部参数： [RES 的 1/8] GAN 补丁大小 （ 3-640 ？：help ） ：

以更高的 VRAM 使用率为代价提高 GAN 训练的质量，默认值为分辨率的 1/8。

avtopalang

dfldata 发表于 2023-11-23 20:32
那对于RTM丹(专丹)是不是只需要src在loss0.3以下就OK,dst的loss不用管

我觉得那得看你开了什么参数。如果不开嘴眼，到0.3以下很容易，但是你可以看到，表情不对的，如果开眼嘴能降到0.3以下，其实需要一定迭代的。没那么容易

wtxx8888

avtopalang 发表于 2023-11-23 21:20
扭曲也许会学到细节，不过，loss到0.01一下？确定吗？练3年？还是10年？我的意思是扭曲到一定程度，然后 ...

首先呢，LOSS下降看的是硬件，大佬还是很多的，甚至某些都是专业级的硬件，LOSS到0.1下很难？别用家用玩玩的，跟大佬专业的比
其次GAN开启先决条件有二。
一LOSS需0.3及以下，是为了保证清晰度还有就是，最大程度的保留扭曲出来的图像像素位置。
二开GAN必须关闭扭曲，至于为什么需要关闭扭曲，难道还猜不出来？扭曲的功能会偏移像素点，所以等于GAN上一迭代训练来的像素数据作废。你觉得你先GAN会是个什么结果呢？扭曲得特性决定了会破坏掉GAN得图像
不明白原理与为什么，推荐你可以自己实验。
教程基本不会给别人讲原理，因为这是基础，懂的人都懂，不懂得是小白，所以大佬教程都是只讲步骤滴。

wtxx8888

再补充一句，大佬基本都是迭代到底，而不是去开GAN，毕竟结果就跟你这帖子发的初衷一样，关扭曲开GAN会向DST靠拢，从而不像SRC。
这就是大佬门的仙丹，为啥都是天文数量的迭代，明白了吧。
所以自己取舍，要么要时间即开GAN，承受不像SRC的结果，完成的快
要么咬牙扭曲迭代到细节满意为止（通常为扭曲状态LOSS在0.2及以下)，需要海量迭代跟海量的时间

wtxx8888

avtopalang 发表于 2023-11-23 21:26
我觉得那得看你开了什么参数。如果不开嘴眼，到0.3以下很容易，但是你可以看到，表情不对的，如果开眼嘴 ...

一般预训练丹复用开嘴眼与扭曲，会快速下降到0.4-0.6附近，如果碰巧你的SRC人物被练过会更低，剩下的就靠自己咬牙迭代了。

所以哦，个人意见是丹不是能用就行（低BS2，BS4这种），最少也得开到BS12的用着才舒服点，不然低BS迭代？呵呵

yuxianhu

wtxx8888 发表于 2023-11-23 21:39
首先呢，LOSS下降看的是硬件，大佬还是很多的，甚至某些都是专业级的硬件，LOSS到0.1下很难？别用家用玩玩 ...

感谢大佬解惑