deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
楼主: JoyChan0808

开了梯度之后先下降后上升是怎么回事

[复制链接]

40

主题

861

帖子

4773

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4773

万事如意节日勋章

发表于 2024-11-5 15:09:14 | 显示全部楼层
本帖最后由 pasanonic 于 2024-11-5 15:23 编辑

这种高维参数,建议在开始扭曲阶段不开剃度,预训练没必要开嘴眼,高维丹剃度跟着嘴眼开,df丹很容易过拟合,稍微在一定的时期开下不同的色彩、光影之类的参数中和一下,你用的神龙mve,有很多参数调整,不要一直抱着固定的参数无脑跑,很容易出各种问题,一句话就是你要时不时压榨df丹,让他学新东西,神龙有很多参数来泛化增强模型。
df丹没有liae稳定,df模型对阴影、遮挡之类的东西比较糟糕,练久了可能就会走火入魔,模糊不清的脸图也有一定影响,liae这方面强的多。

还有你们那些强化过的高清图和本身很高清的图,建议最后收单的时候单独拿出来跑一段时间,不要一股脑一开始都丢进去,会有意向不到的效果。
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3388

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3388
发表于 2024-11-5 19:38:31 | 显示全部楼层
本帖最后由 dfl9999 于 2024-11-5 19:45 编辑
pasanonic 发表于 2024-11-5 15:09
这种高维参数,建议在开始扭曲阶段不开剃度,预训练没必要开嘴眼,高维丹剃度跟着嘴眼开,df丹很容易过拟合 ...

知道的不少啊,一次性把素材全扔进去会导致模型覆写难度变高和泛化能力降低,这是我走了一个月弯路才醒悟过来的,经常变换素材模型反应能力会非常快,模型需要一定强度的定向训练和轮换训练,一大堆素材一练到底最后模型会非常难以二次训练,论坛里知道这个的人不多
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3388

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3388
发表于 2024-11-5 20:00:12 | 显示全部楼层
本帖最后由 dfl9999 于 2024-11-5 20:01 编辑
wtxx8888 发表于 2024-11-5 11:17
那就是你的丹,四维过大的原因,严重超上限
显卡好,就上高的解析度,没必要,极限值的低解析度。
...

关于丹的三维四维,在网上根本查不到准确的定义,e-d和d-d是分辨率的四分之一就够用了,ae影响角度和清晰度上限,我觉得ae通常是不够用的,小三维我已经试过了不咋地,df丹和liae的丹的三维侧重又是完全不一样的,这些干货估计就神农和滚石他们知道,也不会拿出来讲,时间成本太高我就懒得再去试了,反正现在升级了显卡,有显存,任性
回复 支持 反对

使用道具 举报

14

主题

2939

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15926

真我风采勋章万事如意节日勋章

发表于 2024-11-5 20:20:28 | 显示全部楼层
dfl9999 发表于 2024-11-5 20:00
关于丹的三维四维,在网上根本查不到准确的定义,e-d和d-d是分辨率的四分之一就够用了,ae影响角度和清晰 ...

哈哈,任性最厉害了。
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3388

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3388
发表于 2024-11-5 22:57:13 | 显示全部楼层
wtxx8888 发表于 2024-11-5 20:20
哈哈,任性最厉害了。

一直有个问题,什么叫过拟合,模型过拟合是什么表现
回复 支持 反对

使用道具 举报

14

主题

2939

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15926

真我风采勋章万事如意节日勋章

发表于 2024-11-6 00:18:44 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-11-6 00:34 编辑
dfl9999 发表于 2024-11-5 22:57
一直有个问题,什么叫过拟合,模型过拟合是什么表现

过拟合,只对训练过的图,反应快,对新图的反应很慢。
(过拟合,一般新增加素材并练一会,就会被修正,说白了,就是定量素材练的太久,AI的思维,被固化在这个范围里

欠拟合,对训练过的图,与新图,全部都反应很慢。
(素材的复杂度太低,学不到东西的缘故。这个更简单,关了遮罩,练一阵子全图,学习下复杂的背景,就完了
(这也是为什么,推荐隔一段时间,就练个万八千全图的原因)
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3388

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3388
发表于 2024-11-6 05:23:06 | 显示全部楼层
本帖最后由 dfl9999 于 2024-11-6 05:43 编辑
wtxx8888 发表于 2024-11-6 00:18
过拟合,只对训练过的图,反应快,对新图的反应很慢。
(过拟合,一般新增加素材并练一会,就会被修正,说 ...

我说我上个模型反应怎么这么慢,跑了快500万过拟合了,看来不是训练越多越好,素材也不能一直用定量,要适当轮换。
开loss平滑好像也不能避免过拟合,可以适当开关下真脸和扭曲。


看来练的差不多就要开始折腾素材和参数了,不能开着扭曲一直练死劲死刚loss,最后练成一根筋。


回复 支持 反对

使用道具 举报

14

主题

2939

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15926

真我风采勋章万事如意节日勋章

发表于 2024-11-6 10:46:31 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-11-6 13:23 编辑
dfl9999 发表于 2024-11-6 05:23
我说我上个模型反应怎么这么慢,跑了快500万过拟合了,看来不是训练越多越好,素材也不能一直用定量,要适 ...

开那些新的随机,都能修正过拟合。只要有新的东西学,就能破 过拟合。(增加泛化性,实际上,就是破 过拟合)
所以现在的预训练底丹,跑到很低的LOSS后,逐项的开启新的随机。最后达到,五项随机全开即可。
随机取样,随机压缩,随机模糊,随机噪点,随机颜色,开任何一项,练一阵子,都能破 过拟合。
如果没开颜色模式的话,开 FS-AUG 也能破。

正常的预训练,几乎不存在过拟合。
海量的素材,根本就练不完。
因为,只要不是BS 1,就不存在,练到全部的素材。

对于你的过拟合,应该是扭曲造成的,直接就扭曲开到底的吧?
新丹时,不能直接就开扭曲。要开,也是最后收尾了,才能开。
所以预训练,一般都是,不开扭曲的。(扭曲,自带残留效应(类似固化),这是造成过拟合的罪魁祸首)

回复 支持 1 反对 0

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-6 15:30:50 | 显示全部楼层
wtxx8888 发表于 2024-11-5 10:50
你开着梯度吧,你的问题应该是,清晰强化的图,占比太高了造成的。
清晰过的图,最好不要超过三分之一的占 ...

开着梯度影响大吗?
回复 支持 反对

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-6 15:32:26 | 显示全部楼层
wtxx8888 发表于 2024-11-6 10:46
开那些新的随机,都能修正过拟合。只要有新的东西学,就能破 过拟合。(增加泛化性,实际上,就是破 过拟合 ...

啊啊啊?一开始不开扭曲最后开?最后开不就都糊了吗
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-21 18:46 , Processed in 0.157376 second(s), 30 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表