关于扭曲、嘴眼、真脸lrd、开gan等细节部分wtxx8888大佬的一...

dfl9999

hzy 发表于 2024-8-20 07:34
1.兄弟，此模型三维来自某知名大佬，我只是加训，为什么要这么开？可能我学的不够，没法回答
2.训练单次 ...

你用别人的底丹，src和dst又都是自己的，loss震荡下不去很正常，没有任何证据表明高ae值对模型有明显帮助，跟模型分辨率一致就差不多了，反而因为dd负责输出干活最多可以调大一点，dml版本默认会使用一部分内存模拟显存导致延迟比别的版本高，你再调一些奇葩参数会更慢，我是怕你浪费时间走弯路语气严厉了点就不舒服

chencheng98088

wtxx8888 发表于 2024-8-19 18:08
各种项目，要根据自身的需求，去开关。

大佬，想请教个问题，我练了一个男丹，迭代了300多万次左右。遇到有几个问题：
1、我找不到太清晰的SRC素材，视频看着挺清晰的，一切完脸就模糊，也试了很多修复软件都不太好；
2、还有就是我的遮罩，已经写入了万能遮罩了，还是没遮罩功能，合成模型的时候也选了的，不知道是不是DST素材跟SRC素材没有遮挡物，没训练到？
3、最后就是我合成出来的无论是视频还是模型，肤色都跟DST肤色差好远；要是用到直播的话，是不是需要用直播软件调美艳。那个合成的时候调整的参数跟后面合成模型有没有关联的？
帮我答答疑惑可以吗？身边没人会，去讨论群也没人搭理？

wtxx8888

chencheng98088 发表于 2024-8-20 11:38
大佬，想请教个问题，我练了一个男丹，迭代了300多万次左右。遇到有几个问题：
1、我找不到太清晰的SRC素 ...

1，AI修不了，就没办法了。你只能试试切成小的脸图，用小丹。图小会相对清晰点。
2，训练的时候，预览上空格键，就能看到写入的遮罩。合成时注意模式。

dst：使用从 data_dst 面集/数据集提取期间生成的地标形状派生的掩码。（无额头F脸）
learned-prd：使用训练期间学习的掩码。保持 SRC 面的形状。（learned 的就是写入的）
learned-dst：使用训练期间学习的掩码。保持 DST 面的形状。
learned-prd*dst：结合两个掩码，两者的尺寸较小。
learned-prd dst：结合了两个掩码，两者的尺寸都更大。
XSeg-prd：使用 XSeg 模型使用来自源面孔的数据进行掩蔽。（XSEG 的是直接调取model里的文件）
XSeg-dst：使用 XSeg 模型使用来自目标面孔的数据来遮蔽 - 这种模式是您最有可能使用的一种模式，因为它会根据 DST 的形状遮蔽面部并排除所有障碍物（假设您确实正确标记了 DST 面孔） .
XSeg-prd*dst：结合两个掩码，两者的尺寸较小。
learned-prd*dst*XSeg-dst*prd：结合所有 4 种掩码模式，所有模式的尺寸较小。

3，合视频，改颜色模式，选观感最好的（实在不行就SOT，特慢），直播就不清楚了，我没用过LIVE。

hzy

dfl9999 发表于 2024-8-20 08:45
你用别人的底丹，src和dst又都是自己的，loss震荡下不去很正常，没有任何证据表明高ae值对模型有明显帮助 ...

谢谢兄弟的指导，昨天888大佬说了 我就换成春节版的df了，我这丹的参数有好的建议吗？目前loss下降有点慢

dfl9999

hzy 发表于 2024-8-20 13:59
谢谢兄弟的指导，昨天888大佬说了 我就换成春节版的df了，我这丹的参数有好的建议吗？目前loss下降有点慢 ...

你那个320底丹你不说我都知道是谁的，屁的大佬在那瞎玩，你都有3080了完全可以自己练丹，别人的底丹高级参数已经全部开了你根本就没有操作空间了，loss下不去是因为你的src太杂了一直在重建面部，另一个原因是我上面说的高级参数都开了，没有操作空间了，想玩万能丹就别嫌loss下的慢，这是你自己选的路

nde2024

wtxx8888 发表于 2024-8-19 18:08
各种项目，要根据自身的需求，去开关。

扭曲+eyes_mouth_prio 一直开着，不开gan, 硬刚迭代.

同时可以一直开着lr_dropout吗?

wtxx8888

nde2024 发表于 2024-8-27 17:50
扭曲+eyes_mouth_prio 一直开着，不开gan, 硬刚迭代.

同时可以一直开着lr_dropout吗? ...

。。。开LRD，不叫硬刚。LRD的功能，就是取巧！

nde2024

wtxx8888 发表于 2024-8-27 18:32
。。。开LRD，不叫硬刚。LRD的功能，就是取巧！

扭曲+eyes_mouth_prio+lr_dropout

和

扭曲+eyes_mouth_prio


具体有什么区别?

感谢指点

wtxx8888

nde2024 发表于 2024-8-27 21:09
扭曲+eyes_mouth_prio+lr_dropout

和

LRD会略过不必要的训练，但与正常训练不兼容。
意思是开了后，如果关闭，开启时练的部分，直接作废。

JoyChan0808

wtxx8888 发表于 2024-8-19 20:02
你这素材不行啊，而且LOSS还高的很，没细节很正常。
LOSS 0.3以下，再考虑细节吧，都不一定能出。
...

没开嘴眼优先，只开LRD，这个loss要到多少才能有细节呀