352-df-udt-448-112-112-40扭曲预训练120w

yxyao

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

采用的是原版DeepFaceLab自带预训练数据集（FFHQ精选15843张）
预训练方法是关闭pretrain模式，将该预训练数据集复制放到src与dst中。
全程bs11，开启随机扭曲。

部分参数较高，故不建议小显存卡使用。4090 24G能开到bs11，供参考。

参数：


预览图：




由于预训练开启了梯度裁剪，建议正训前删掉inter文件和opt文件，以避免pred像dst。具体原理请参考随风大佬的技术贴（感谢come3002大佬指路）：
【随风技术论】DFL模型文件的<关系>--详解

补充说明：做出本模型的初衷是为了实验对比不同参数的实际影响。
发在论坛是为了记录学习过程，同时如果有朋友有兴趣随时可以测试或使用。
如果图方便或者最佳性能的话，大可不必使用本模型，论坛中很可能有更好的选择。

再次提醒：部分参数较高，故不建议小显存卡使用。4090 24G能开到bs11，供参考。

使用方法：删掉inter.npy以及src_dst_opt.npy这两个文件（原因请看上面我贴的随风大佬的技术贴），用自己的src与dst开始正训即可

liang520520

分享就是可贵

itqzja5

yxyao 发表于 2024-6-14 20:03
昨天开始练的那个liae352，bs10跑了十五万后OOM了，只能降到bs9继续跑

越往后占用越多,前面扭轮廓的时候可以小BS,这样有利于后期大BS收敛,你现在就极限bs跑,到了后面再开其他参数只能bs越来越小,我觉得得不偿失

itqzja5

yxyao 发表于 2024-6-12 21:19
不好意思，名字写错了，最近liae练的比较多，习惯性标了liae已更正

虽然我用不到,但还是支持一波!加油!

itqzja5

这不是DF-UDT吗?不是liae啊,我说这参数怎么可能这么高 ,liae模型4090也难带的动吧?楼主不会是训练的时候名字起对了,模型类型给选错了吧?

yxyao

itqzja5 发表于 2024-6-12 20:17
这不是DF-UDT吗?不是liae啊,我说这参数怎么可能这么高 ,liae模型4090也难带的动吧?楼主不会是训练的时候名 ...

不好意思，名字写错了，最近liae练的比较多，习惯性标了liae已更正

yxyao

itqzja5 发表于 2024-6-12 21:33
虽然我用不到,但还是支持一波!加油!

嗯，谢谢

yxyao

itqzja5 发表于 2024-6-12 20:17
这不是DF-UDT吗?不是liae啊,我说这参数怎么可能这么高 ,liae模型4090也难带的动吧?楼主不会是训练的时候名 ...

我开了一个liae352_448_112_112_40，4090最大bs是10，和我没练完的liae384_448_96_96_32一样，后者在4090的最大bs也是10
话说我是把显示器插在核显上的。所以算是最大化利用独显显存了。
不过我所有模型都是用原版跑的。看论坛的贴字貌似有些版本能利用一些技术支持更高参数。不过模型不通用。

itqzja5

yxyao 发表于 2024-6-12 21:47
我开了一个liae352_448_112_112_40，4090最大bs是10，和我没练完的liae384_448_96_96_32一样，后者在4090 ...

RG是可以跑参数高点,不过我实测下来仅仅是带的动,速度降了不少,为了保险我一般是调整适合自己设备的参数,如果刚好某个底丹能带的动但是不能大BS,那么就把优化在GPU关了,让cpu分担一下,速度是慢了不少,但是稳定的不得了.
还有即使4090也不建议用超过320的丹直播,因为你可能要开一系列的其他软件搭配live,帧率也很有可能降到20以下,此外除非美妆类怼脸主播,否则大分辨率的表现真的不如320以内,一般的直播甚至224都足够用.分辨率加大一点训练难度可是指数增长

jinyuan37

参数太高玩不动

yxyao

itqzja5 发表于 2024-6-12 22:11
RG是可以跑参数高点,不过我实测下来仅仅是带的动,速度降了不少,为了保险我一般是调整适合自己设备的参数, ...

昨天开始练的那个liae352，bs10跑了十五万后OOM了，只能降到bs9继续跑