关于扭曲、嘴眼、真脸lrd、开gan等细节部分wtxx8888大佬的一...

hzy

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

首先要感谢wtxx8888对坛友一些细节问题的回复，受用良多，他的一些回复经整理如下（其中不乏经典），供入门的兄弟参考借鉴。


扭曲从来也不关。。。
有色斑，就把遮罩选N，跑一阵带背景的全图就好。
没开嘴眼优先，或者复用丹没开LRD。想要嘴眼部位足够清晰的，这俩项目必开一个。
嘴眼优先：优点是不限预训练底丹或复用丹，缺点是五官定位会跟随开关变化，如果要保持五官的定位，必须维持嘴眼优先项目不变。
LRD学习率下降：优点是不会改变五官定位，缺点是只能复用丹的末期开，而且开了不能关，不然开LRD练出来的，全部白练（直接打回开启时的LOSS数值。例：你0.6开的LRD，到0.1关了，直接打回0.6）
表情僵硬是SRC的表情不足，或者是开了真脸。
素材问题的话要补足，参数无解。
真脸的话就很简单了，关了真脸就行。

除非复用别人LOSS很低的丹，不然出细节，它就不是个，快得了的东西。
别人那都是，论月挂机才出的。
新手从零开始一颗丹，就知道了。
还大量DST？盲目追求十几万张的，简直挂到你欲仙欲死！
BS 其实，最好别太高。4个BS的差距，是LOSS 0.05.
BS 其实，最好别太高。4个BS的差距，是LOSS 0.05.
意思是，你BS 16的LOSS 0.1，只相当于BS 12的 0.15，BS 8的 0.2，BS 4 的0.25

嘴眼优先，有2功能。
一特征点定位。
二嘴眼部位细节化
细节化，是跟LRD重叠的功能，但嘴眼不同于LRD，细节不会全部丢。
只有当位置偏差过大，才丢细节，练出来，也不会忘记。
没偏差下，意味着，嘴眼优先，进行开关切换，LOSS是不变的。不像LRD，关了就没

只要细节，可以LRD或嘴眼优先，二选一。
定位就看你实际情况了。
没偏差（就是开了嘴眼优先，位置还是对的）。推荐嘴眼优先。
开了嘴眼发现不对的，当时就直接换LRD，关了嘴眼。

另，哪个教程开LRD，告诉你关扭曲了？
哪怕你训练时，LRD参数那，打个问号，内部说明也告诉你，开LRD，是不关扭曲的。
要关扭曲的，那是GAN！

当面部训练足够时，您可以启用此选项，以获得额外的清晰度, 并减少亚像素抖动以减少迭代次数。 在“禁用随机扭曲”和 GAN 之前启用它。
以上是，猫汉化内部的LRD说明，明确告诉你，关扭曲前，开LRD。
扭曲跟LRD两者，在不开GAN下，是并存的！要开GAN时，才关扭曲。
顺序关系为：开扭曲>>开LRD（与扭曲并存）>>开GAN的同时，关扭曲（只与LRD并存）。


另一条路：开扭曲>>开嘴眼优先(与扭曲并存)>>开GAN的同时，关扭曲（只与嘴眼优先并存，目的为，固定嘴眼定位）
不开GAN的，纯硬刚迭代也行。
教程，你是看了个稀碎。。。就这点小玩意，还能没看明白？也是醉了。

先GAN是无效的，因为你都是糊图，你的GAN学的也是糊的噪点这也是为啥要求LOSS到0.3及以下，才可以考虑开GAN

首先呢，LOSS下降看的是硬件，大佬还是很多的，甚至某些都是专业级的硬件，LOSS到0.1下很难？别用家用玩玩的，跟大佬专业的比
其次GAN开启先决条件有二。
一LOSS需0.3及以下，是为了保证清晰度还有就是，最大程度的保留扭曲出来的图像像素位置。
二开GAN必须关闭扭曲，至于为什么需要关闭扭曲，难道还猜不出来？扭曲的功能会偏移像素点，所以等于GAN上一迭代训练来的像素数据作废。你觉得你先GAN会是个什么结果呢？扭曲得特性决定了会破坏掉GAN得图像
不明白原理与为什么，推荐你可以自己实验
再补充一句，大佬基本都是迭代到底，而不是去开GAN，毕竟结果就跟你这帖子发的初衷一样，关扭曲开GAN会向DST靠拢，从而不像SRC。
这就是大佬门的仙丹，为啥都是天文数量的迭代，明白了吧。
所以自己取舍，要么要时间即开GAN，承受不像SRC的结果，完成的快
要么咬牙扭曲迭代到细节满意为止（通常为扭曲状态LOSS在0.2及以下)，需要海量迭代跟海量的时间
真脸也属于扭曲，是SRC直接置换，与DST结合最差，所以开真脸不是必须关扭曲的，可以同时开。
LIAE是DST向SRC扭曲，所以结合跟光影好，毕竟是特么的DST变出来的，但与SRC相似度就差了。
DF是SRC向DST扭曲，SRC的底，必然与DST结合不好，但像SRC
小BS指的是快速成像轮廓，扭曲跟这个无关，大BS小BS只是会影响扭曲速度的快慢罢了
硬迭代就会有细节，GAN是为了较少迭代数，而设的优化算法，不是必开。
GAN其实就是给机器，或没耐心的人，准备的备选，最好是硬迭代出细节，就不用关扭曲向DST靠拢了
LIAE起点是DST，意味着，最坏的状态，都有个DST的样。
DF起点是SRC，所以想要光影好，SRC素材必须到位（必须有，与DST对应等级的图），不然比不过LIAE。

SRC光影少，那就只能LIAE。
不然，就必须花费大量的精力，补充SRC明暗过度的素材，才能用DF。
至于参数的随机光影，就是个心理安慰，增强的光影，不能说没效果。是有点效果的，但根本不是预想中的级别。
素材不行的，开了随机光影 炼DF，也好不到哪去

丹复用，第一次关扭曲的SRC-SRC。
第二次开扭曲的SRC-SRC。
第三次才扭曲下的正常SRC-DST。
上述操作，是为了给已经练过很久的丹，一个适应新素材的过程。
不然，瞬间剧烈的画面变化（过度扭曲），就有极高的概率炸丹！
也不是必炸，看脸看丹练度，我的经验是，练的越久越容易炸！
因为练得越久，泛化适性越强，这个适性越强，当遇到新素材时，画面变化就会越剧烈（开局就开扭曲）。

BS 4 最低也得跑个十万以上，才有效果。
BS 8 最少得五万迭代，而且是看你素材量的，SRC与DST，各自不超1万张的是这个数，图量大的，还要加迭代数！
最好同时搭配颜色模式，一起用。

炸丹的斑，和过度扭曲的斑，是不一样的！
炸的修不了，只会越来越大！只有过度扭曲的，才可以修。白的可以修，彩色炸了

另你说100迭代就有了，那证明直接开扭曲的开局，有过大的画面变化，从而极易炸丹。
个人推荐，开局不要直接开扭曲，先关扭曲的状态下跑一阵（BS 4 十万），等图像稳定了再开扭曲，从而规避炸丹与过度扭曲（与炸丹就一线之差）的风险！


两者都可以画，看需求，遮罩的意思就是 遮罩物体，不参与训练，理解这个就可以知道啥时候要画，啥时候不要。
好比 SRC 有眼镜，你想去掉眼镜，那SRC就要眼镜上画遮罩。但如果你想保留SRC的眼镜，就不要画。
反之，DST 有眼镜，你想保留眼镜，那么你必须眼镜画遮罩，但如果你不想要DST的眼镜，就不要画。

遮罩训练只是训练画过的遮罩，没画过的SRC、DST是不参与遮罩训练的。

鸿钧道祖

头疼，对于这个lrd和嘴眼各个大佬说法都不同都有矛盾，有的说lrd开了不能关，有的说能关，关于rw有的说全程开，有的说某些步骤开，关于嘴眼有的说要开有的说可以不开

zhengma96

hzy 发表于 2024-8-19 19:26
请教一下大佬  loss下降很慢，细节也不太清晰，应该在哪里优化一下呢？

你上面不是都整理了么

除非复用别人LOSS很低的丹，不然出细节，它就不是个，快得了的东西。
别人那都是，论月挂机才出的。

你挂了几个月了？

hzy

有些遗漏的大家可以添加在下面，方便查找

crimoon

牛b大佬，总结优秀

wtxx8888

各种项目，要根据自身的需求，去开关。

hzy

wtxx8888 发表于 2024-8-19 18:08
各种项目，要根据自身的需求，去开关。

大佬，独门秘诀传授一点

hzy

wtxx8888 发表于 2024-8-19 18:08
各种项目，要根据自身的需求，去开关。

请教一下大佬  loss下降很慢，细节也不太清晰，应该在哪里优化一下呢？

wtxx8888

hzy 发表于 2024-8-19 19:26
请教一下大佬  loss下降很慢，细节也不太清晰，应该在哪里优化一下呢？

你这素材不行啊，而且LOSS还高的很，没细节很正常。
LOSS 0.3以下，再考虑细节吧，都不一定能出。

嘴眼优先出细节，LOSS一般要到0.25附近。（下的预训练丹，很少有开嘴眼优先的，所以纯要自己跑，慢的很，嘴眼优先自身，有高达0.3的LOSS，这部分要自己硬刚迭代）

dhh520

wtxx8888 发表于 2024-8-19 20:02
你这素材不行啊，而且LOSS还高的很，没细节很正常。
LOSS 0.3以下，再考虑细节吧，都不一定能出。
...

大佬，收徒弟不

wtxx8888

dhh520 发表于 2024-8-19 20:22
大佬，收徒弟不

有问题，就论坛问呗~