DF-UDT 352-512-96-96预训练模型 470万迭代

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

9950X加4090D两个电老虎肝了一千多的电费，7万张脸图，尽量把脸部低频细节学到才收工，全程动态调整学习率，保证验证集loss一直在下降，尽量避免了鞍点效应，让模型在拟合低频细节的时候又不至于过拟合。
到手直接转正训，dst翻转打开，学习率记得调回5e-05，目前学习率是8e-06,如果梯度炸了，可以尝试更小的学习率比如3e-05、2e-05、1e-05,以此类推，等梯度稳定再调回5e-05，已经试过1e-05到5e-05都是安全的。批量大小尽量用2-4，最大不建议超过8。
预训练的目的是加速面部学习，把预训练素材的细节泛化到正训的新素材上，免去了正训环节大量重复枯燥的面部学习，可以快速成丹，避免每次开新丹都从头开始。
----------------------------------------
----------------------------------------
----------------------------------------
上面大三维玩不动的可以试试下面这个，8g显存就可以玩，效果也非常出色，拿来换脸小电影绰绰有余。
https://dfldata.cc/forum.php?mod=viewthread&tid=20334

dfl9999

幽雅猫猫 发表于 2025-2-20 07:19
首先感谢 dfl9999同学的分享，其次我下载测了一下，我是8g显卡，批量大小从4到1都跑不起来，所以8g以下的的 ...

谢谢支持，还有个256小三维的丹，等下发上来

幽雅猫猫

首先感谢 dfl9999同学的分享，其次我下载测了一下，我是8g显卡，批量大小从4到1都跑不起来，所以8g以下的慎用，目测此丹正常得12g起步，如果8g有兴趣可以去 dfl9999 同学另外一篇帖子下载288或者256的丹，也一样可以玩。

追风者

我就想知道你的4090卖不

dfl9999

追风者 发表于 2025-2-20 08:45
我就想知道你的4090卖不

黄gou不做人，利用ai垄断地位现在把显卡市场搞乱了

Aiko粒粒子

感谢分享，

aniu19881009

请问开lrd时要关扭曲吗

dfl9999

aniu19881009 发表于 2025-2-20 11:03
请问开lrd时要关扭曲吗

关扭曲之前可以开lrd跑一段，然后再关扭曲