deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 628|回复: 41

开了梯度之后先下降后上升是怎么回事

[复制链接]

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-4 16:28:20 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
自己跑一个底丹,没开梯度之前0.53炸丹了,所以之后开启梯度,一开始下降,后面又上升什么情况
1730708744975.jpg
回复

使用道具 举报

14

主题

2945

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15953

真我风采勋章万事如意节日勋章

发表于 2024-11-6 10:46:31 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-11-6 13:23 编辑
dfl9999 发表于 2024-11-6 05:23
我说我上个模型反应怎么这么慢,跑了快500万过拟合了,看来不是训练越多越好,素材也不能一直用定量,要适 ...

开那些新的随机,都能修正过拟合。只要有新的东西学,就能破 过拟合。(增加泛化性,实际上,就是破 过拟合)
所以现在的预训练底丹,跑到很低的LOSS后,逐项的开启新的随机。最后达到,五项随机全开即可。
随机取样,随机压缩,随机模糊,随机噪点,随机颜色,开任何一项,练一阵子,都能破 过拟合。
如果没开颜色模式的话,开 FS-AUG 也能破。

正常的预训练,几乎不存在过拟合。
海量的素材,根本就练不完。
因为,只要不是BS 1,就不存在,练到全部的素材。

对于你的过拟合,应该是扭曲造成的,直接就扭曲开到底的吧?
新丹时,不能直接就开扭曲。要开,也是最后收尾了,才能开。
所以预训练,一般都是,不开扭曲的。(扭曲,自带残留效应(类似固化),这是造成过拟合的罪魁祸首)

回复 支持 1 反对 0

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-11-4 17:26:11 | 显示全部楼层
本帖最后由 pasanonic 于 2024-11-4 17:37 编辑

只要不gan,不太可能炸丹  梯度只在gan的时候开,其他时候没有多大意义,特别是小丹
总体上你是在下降 ,这个损失值是平均值,开高损失样本,或者关一下嘴眼,侧脸,继续扭曲下降,再开嘴眼,要想更快你就开学习率


你这个丹哪里下的  介绍下
回复 支持 反对

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-4 17:39:16 | 显示全部楼层
pasanonic 发表于 2024-11-4 17:26
只要不gan,不太可能炸丹  梯度只在gan的时候开,其他时候没有多大意义,特别是小丹
总体上你是在下降 ,这个损 ...

我自己练的,早上起来看就炸了,第四列全没了,loss直接飙到5.0,后面我拿备份还原加了梯度
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-11-4 17:42:44 | 显示全部楼层
JoyChan0808 发表于 2024-11-4 17:39
我自己练的,早上起来看就炸了,我拿备份还原加了梯度

有异常的时候,大多数开下全图就好了(关闭遮罩内训练) ,遮罩内训练时间长了会有问题
回复 支持 反对

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-4 17:45:09 | 显示全部楼层
pasanonic 发表于 2024-11-4 17:42
有异常的时候,大多数开下全图就好了(关闭遮罩内训练) ,遮罩内训练时间长了会有问题
...

不是有色斑哦,是整一列全没,变成红色。开了梯度会怎样,影响大吗
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-11-4 17:47:46 | 显示全部楼层
梯度开早会限制模型的泛化   
跟学习率一样,呆在舒适区不停的训练,不会拓展
回复 支持 反对

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-4 17:49:18 | 显示全部楼层
本帖最后由 JoyChan0808 于 2024-11-4 17:53 编辑
pasanonic 发表于 2024-11-4 17:47
梯度开早会限制模型的泛化

那我练个底丹loss得多少才行,像我这种到0.5就炸丹不开梯度还能咋处理?拿着备份继续跑?如果炸丹再继续备份跑?
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-11-4 17:53:30 | 显示全部楼层
JoyChan0808 发表于 2024-11-4 17:49
那我练个底丹loss得多少才行,像我这种到0.5就炸丹不开梯度可行?

你的那个只有图5变成红色吗?  还是  2 4 5红色  1 3正常
关所有参数 试试
回复 支持 反对

使用道具 举报

27

主题

135

帖子

883

积分

高级丹师

Rank: 5Rank: 5

积分
883
 楼主| 发表于 2024-11-4 17:54:27 | 显示全部楼层
pasanonic 发表于 2024-11-4 17:53
你的那个只有图5变成红色吗?  还是  2 4 5红色  1 3正常
关所有参数 试试

1235正常,4变成红色
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-11-4 17:55:40 | 显示全部楼层
本帖最后由 pasanonic 于 2024-11-4 17:57 编辑
JoyChan0808 发表于 2024-11-4 17:54
1235正常,4变成红色

你把  dst 和 src两边换一下看能不能救回来

这么大的三维 配上小分辨率有些得不偿失
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-23 16:18 , Processed in 0.143227 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表