想了解下自己做预训练底丹有没有大概的流程

JoyChan0808

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

最近自己在做预训练底丹才发现有些学问在里面，包括什么泛化，拟合之类的问题，我之前的操作都是无脑开着rw，开着嘴眼和侧面优化一直迭代，以为loss很低就行，经过吧里的说法才知道有泛化和拟合问题。所以想知道有没有大神分享下如果做一个优质的预训练底丹，显卡不是问题，挂机时间也不是问题。

wtxx8888

现在，自己炼丹的人少，多跟你唠两句吧。
泛化强的预训练丹，起步的素材量，少的，三大数据集之一几万张。
多的，那都是十几二十几万张，甚至更多的。（三大数据集，合一，然后再加，自己搜集的稀缺素材）。
并且练到了，较低的LOSS值（越低越好，看挂机的忍耐度，与显卡的能力），才有的效果。
这个一般，都是挂机练几个月（练不全），BS不能太高，一般就4或8跑，BS高的，泛化效果都稀烂（尤其是角度，基本就正脸快，大角度一塌糊涂）。

先别说，自己挂机时间不是问题，绝大多数人，到时都忍耐不住的。
必须一天看一次，查备份，防炸，防异常等等，这些可能造成空挂的情况。
到时，你就忍不住急了。哈哈。。。

wtxx8888

预训练最简单，打开训练遮罩内人脸，其他全关，这个就定个结束的迭代数，挂机跑。
大多数能下到的预训练丹，都是这个。

其他的参数，一般都是在正训里，才开的。
自己想在预训练阶段，就提前开，正训里的参数？
那就要注意方方面面了。

星期六中午

我也想知道
一直开着RW过拟合了吗？你练了多少迭代

JoyChan0808

wtxx8888 发表于 2024-11-6 17:31
预训练最简单，打开训练遮罩内人脸，其他全关，这个可以定个结束的迭代数，挂机跑。
大多数能下到的预训练 ...

我之前用过一个丹，就是训练一小时，src就很完美，合成dst也效果超好。这种应该叫这个丹泛化性很强吧。就是啥都不开预训练能有这种效果吗?

wtxx8888

JoyChan0808 发表于 2024-11-6 17:42
我之前用过一个丹，就是训练一小时，src就很完美。这种应该叫这个丹泛化性很强吧。就是啥都不开预训练能 ...

你能下到的预训练丹，全是我上面说的，啥也不开，练出来的。
差别及差距，只在素材量的多寡，与最终迭代数量上，奥特了吧？

星期六中午

JoyChan0808 发表于 2024-11-6 17:42
我之前用过一个丹，就是训练一小时，src就很完美，合成dst也效果超好。这种应该叫这个丹泛化性很强吧。就 ...

没训到的图合成效果好当然就是泛化性强的表现。

我之前的操作都是无脑开着rw，开着嘴眼和侧面优化一直迭代，以为loss很低就行

你这样操作出来的丹后续表现不行吗？

xunlian

4070 跑一天5度电