开了梯度之后先下降后上升是怎么回事

pasanonic

这种高维参数，建议在开始扭曲阶段不开剃度，预训练没必要开嘴眼，高维丹剃度跟着嘴眼开，df丹很容易过拟合，稍微在一定的时期开下不同的色彩、光影之类的参数中和一下，你用的神龙mve，有很多参数调整，不要一直抱着固定的参数无脑跑，很容易出各种问题，一句话就是你要时不时压榨df丹，让他学新东西，神龙有很多参数来泛化增强模型。
df丹没有liae稳定，df模型对阴影、遮挡之类的东西比较糟糕，练久了可能就会走火入魔，模糊不清的脸图也有一定影响，liae这方面强的多。

还有你们那些强化过的高清图和本身很高清的图，建议最后收单的时候单独拿出来跑一段时间，不要一股脑一开始都丢进去，会有意向不到的效果。

dfl9999

pasanonic 发表于 2024-11-5 15:09
这种高维参数，建议在开始扭曲阶段不开剃度，预训练没必要开嘴眼，高维丹剃度跟着嘴眼开，df丹很容易过拟合 ...

知道的不少啊，一次性把素材全扔进去会导致模型覆写难度变高和泛化能力降低，这是我走了一个月弯路才醒悟过来的，经常变换素材模型反应能力会非常快，模型需要一定强度的定向训练和轮换训练，一大堆素材一练到底最后模型会非常难以二次训练，论坛里知道这个的人不多

dfl9999

wtxx8888 发表于 2024-11-5 11:17
那就是你的丹，四维过大的原因，严重超上限
显卡好，就上高的解析度，没必要，极限值的低解析度。
...

关于丹的三维四维，在网上根本查不到准确的定义，e-d和d-d是分辨率的四分之一就够用了，ae影响角度和清晰度上限，我觉得ae通常是不够用的，小三维我已经试过了不咋地，df丹和liae的丹的三维侧重又是完全不一样的，这些干货估计就神农和滚石他们知道，也不会拿出来讲，时间成本太高我就懒得再去试了，反正现在升级了显卡，有显存，任性

wtxx8888

dfl9999 发表于 2024-11-5 20:00
关于丹的三维四维，在网上根本查不到准确的定义，e-d和d-d是分辨率的四分之一就够用了，ae影响角度和清晰 ...

哈哈，任性最厉害了。

dfl9999

wtxx8888 发表于 2024-11-5 20:20
哈哈，任性最厉害了。

一直有个问题，什么叫过拟合，模型过拟合是什么表现

wtxx8888

dfl9999 发表于 2024-11-5 22:57
一直有个问题，什么叫过拟合，模型过拟合是什么表现

过拟合，只对训练过的图，反应快，对新图的反应很慢。
（过拟合，一般新增加素材并练一会，就会被修正，说白了，就是定量素材练的太久，AI的思维，被固化在这个范围里）

欠拟合，对训练过的图，与新图，全部都反应很慢。
（素材的复杂度太低，学不到东西的缘故。这个更简单，关了遮罩，练一阵子全图，学习下复杂的背景，就完了）
（这也是为什么，推荐隔一段时间，就练个万八千全图的原因）

dfl9999

wtxx8888 发表于 2024-11-6 00:18
过拟合，只对训练过的图，反应快，对新图的反应很慢。
（过拟合，一般新增加素材并练一会，就会被修正，说 ...

我说我上个模型反应怎么这么慢，跑了快500万过拟合了，看来不是训练越多越好，素材也不能一直用定量，要适当轮换。
开loss平滑好像也不能避免过拟合，可以适当开关下真脸和扭曲。


看来练的差不多就要开始折腾素材和参数了，不能开着扭曲一直练死劲死刚loss，最后练成一根筋。

wtxx8888

dfl9999 发表于 2024-11-6 05:23
我说我上个模型反应怎么这么慢，跑了快500万过拟合了，看来不是训练越多越好，素材也不能一直用定量，要适 ...

开那些新的随机，都能修正过拟合。只要有新的东西学，就能破 过拟合。(增加泛化性，实际上，就是破 过拟合)
所以现在的预训练底丹，跑到很低的LOSS后，逐项的开启新的随机。最后达到，五项随机全开即可。
随机取样，随机压缩，随机模糊，随机噪点，随机颜色，开任何一项，练一阵子，都能破 过拟合。
如果没开颜色模式的话，开 FS-AUG 也能破。

正常的预训练，几乎不存在过拟合。
海量的素材，根本就练不完。
因为，只要不是BS 1，就不存在，练到全部的素材。

对于你的过拟合，应该是扭曲造成的，直接就扭曲开到底的吧？
新丹时，不能直接就开扭曲。要开，也是最后收尾了，才能开。
所以预训练，一般都是，不开扭曲的。(扭曲，自带残留效应（类似固化），这是造成过拟合的罪魁祸首)

JoyChan0808

wtxx8888 发表于 2024-11-5 10:50
你开着梯度吧，你的问题应该是，清晰强化的图，占比太高了造成的。
清晰过的图，最好不要超过三分之一的占 ...

开着梯度影响大吗？

JoyChan0808

wtxx8888 发表于 2024-11-6 10:46
开那些新的随机，都能修正过拟合。只要有新的东西学，就能破 过拟合。(增加泛化性，实际上，就是破 过拟合 ...

啊啊啊？一开始不开扭曲最后开？最后开不就都糊了吗