重复训练高loss样本这个功能还是有用的

wtxx8888

onecrow 发表于 2025-1-7 01:25
是哪个版本带这个改过了的算法？

还没有发布。预计春节发布。
换了预览窗界面，改了重训练算法，添加了512遮罩训练与合成，等等一系列重大的更新。
也不知道，我的512遮罩，到时能不能练好。。。需要拉点赞助，换掉我的破1660T.

WaveBedo

我的观察是，如果你最后阶段是开眼嘴的话，
那可能就没有必要开高loss了，
因为如果不开眼嘴，只开高loss的话
那眼嘴是不够准的，
即使开高loss，同时开眼嘴，也比不上单单开眼嘴时，眼嘴对得准，

如果开了高loss，又希望对齐眼嘴，
我的做法是，关闭高loss，然后开眼嘴，
但你是需要花费加倍的时间，将眼嘴对齐拉回来的，
如果你不花费加倍的时间，眼嘴的对齐，是比不上那种不开高loss，单单开眼嘴的，
也就是，如果我不开高loss，眼嘴可能会对得更准，而且花的时间更少

另外，那种眼嘴分开的版本，
跟眼嘴不分开的原版，
整体眼嘴对齐是不一样的，
眼嘴分开的，眼嘴会对得比较准，但整体可能会没对准，例如眉毛没有对齐，脸的缩放不够，
原版的眼嘴，眼嘴可能对得不够准，但它整体对齐可能是更准的，也就是它整体对齐上，可能更好，
所以原版的眼嘴不分开可能是有它的道理的
（以上都是根据我合成时的观察，当这个版本跑得不够好的时候，我会用其他版本跑跑看，尝试的机会不算多，所以，还不能确定以上说法，是否正确）

dfl9999

WaveBedo 发表于 2025-1-7 12:31
我的观察是，如果你最后阶段是开眼嘴的话，
那可能就没有必要开高loss了，
因为如果不开眼嘴，只开高loss的 ...

嘴眼都没对齐，那是ae值不够或者缺乏训练，我这里说的高loss是指嘴眼和所有特征点对齐后的细节训练

wtxx8888

WaveBedo 发表于 2025-1-7 12:31
我的观察是，如果你最后阶段是开眼嘴的话，
那可能就没有必要开高loss了，
因为如果不开眼嘴，只开高loss的 ...

原版的嘴部，是单点对齐，就是俩边的嘴角，只用了一边的嘴角定位。（会有歪嘴的现象）
MVE的拆分，嘴部是两点定位。也就是左右嘴角，两点对齐。（两点才能确定直线，就不用说了吧）

嘴歪点好，还是完全不歪好。仁者见仁智者见智。。。不能说，谁就一定能，适应所有情况。
但分开的，在操控性上，会更具灵活性。
就好比，你觉得眉毛不好（属于眼部的联带定位），可以单独，只开嘴部优先。想让嘴部歪一点，可以只开眼部优先。
所以，我选择了MVE的方式，可控性更强。别只会，嘴眼捆绑了一起开，一起关。。。

再多说一句，嘴眼同开，相当于，面部上下两点的定位，这个决定了，面部旋转角度的适性。
两点确定直线，这次是，整个面部的竖线，相当于，美术上的鼻梁中线。限制可旋转角度，限制五官的间距。
这会更像SRC，但扭曲变形的幅度会变小（面部被两点定位，限制死），与DST的融合度，会剧烈下降。

allani

wtxx8888 发表于 2025-1-7 02:28
还没有发布。预计春节发布。
换了预览窗界面，改了重训练算法，添加了512遮罩训练与合成，等等一系列重大 ...

大佬这么叼，1660T怎么能配得上你，太苦了，赶紧换卡！

wtxx8888

allani 发表于 2025-1-7 17:41
大佬这么叼，1660T怎么能配得上你，太苦了，赶紧换卡！

感谢支持。

lhs

没多大用，主要是跟素材有关系

dfl9999

lhs 发表于 2025-1-7 21:20
没多大用，主要是跟素材有关系

我只信实践出真知

WaveBedo

dfl9999 发表于 2025-1-7 16:11
嘴眼都没对齐，那是ae值不够或者缺乏训练，我这里说的高loss是指嘴眼和所有特征点对齐后的细节训练 ...

我用的是原作者的模型，
如果这个ae都不够的话，那绝不分人的ae都不够吧
450万，bs4，应该不会缺乏训练了

我的意思是高loss和眼嘴，只能取其一，应该做不到两者兼得
我的观察就是，侧脸就是尽量对齐侧脸，那眼嘴可能就会不够准，
开眼嘴，就是尽量对齐眼嘴，那侧脸可能就会不够准，
同时开侧脸、眼嘴，眼嘴的对齐，比不上单单开眼嘴的。
（这里只是考虑眼嘴对齐，整体是不是眼嘴、侧脸同时开，更好呢。这个应该是看个人选择，我现在一般只开眼嘴）

高loss应该是侧脸的一个变种，也就是它只考虑loss，所以，它整体虚影会更少，但眼嘴可能不够准
（要用大角度，多次合成对比，才会看得出来的，不对比的话，是看不出来的。我每次合成用73张图片，包含各个大角度的）
（以上只是根据我的观察，次数不算多，不能确定是否准确）
==            resolution: 224                     ==
==             face_type: wf                      ==
==     models_opt_on_gpu: True                    ==
==                 archi: liae-udt                ==
==               ae_dims: 512                     ==
==                e_dims: 64                      ==
==                d_dims: 64                      ==
==           d_mask_dims: 32                      ==

WaveBedo

wtxx8888 发表于 2025-1-7 16:25
原版的嘴部，是单点对齐，就是俩边的嘴角，只用了一边的嘴角定位。（会有歪嘴的现象）
MVE的拆分，嘴部是 ...

感谢分享
------------------------
各有各的考虑吧
合成几张大角度鼻子有虚影的，对比一下就可以看的出来，
整体的对齐是有区别的
一般都是要兼顾整体与细节的，
细节对齐比较好，但整体对齐不够好的话，会很容易看得出来