deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
12
返回列表 发新帖
楼主: Headmaster1615

512-df-ud-1,726,249 赵今麦

[复制链接]

4

主题

27

帖子

1180

积分

初级丹圣

Rank: 8Rank: 8

积分
1180
 楼主| 发表于 2024-3-27 09:26:42 | 显示全部楼层
本帖最后由 Headmaster1615 于 2024-3-27 09:28 编辑
Winter 发表于 2024-3-27 07:36
我对这个有许多疑问啊:一个是参数,512分辨率,AE才256,很难体现高分的优势啊;第二是看了你的SRC,是多 ...

image.png
image.png
image.png
对比图

回复 支持 反对

使用道具 举报

0

主题

209

帖子

1138

积分

初级丹圣

Rank: 8Rank: 8

积分
1138
发表于 2024-3-27 13:26:08 | 显示全部楼层
回复 支持 反对

使用道具 举报

0

主题

66

帖子

340

积分

初级丹师

Rank: 3Rank: 3

积分
340

万事如意节日勋章

发表于 2024-3-27 16:53:28 | 显示全部楼层
直接合成效果稀烂
回复 支持 反对

使用道具 举报

4

主题

27

帖子

1180

积分

初级丹圣

Rank: 8Rank: 8

积分
1180
 楼主| 发表于 2024-3-29 07:51:34 | 显示全部楼层
image.png

前后两段batch分别为1和4.对梯度下降速度影响几乎没有。
原理上来说,每一个batch都会产生一次梯度更新。batch是4的时候是4张图片取平均来更新梯度,1的时候是一张图片更新一次。在训练集数据无误的情况下,无需取平均值即可稳定的更新权重值。
虽然大batch size可以提高计算效率和梯度估计的准确性,但也可能导致模型收敛到较差的局部最优解。另一方面,小batch size(如1)使得模型更频繁地更新,有助于更好地探索参数空间,但训练过程中的方差更大,可能导致训练过程更加嘈杂和不稳定,有概率会产生梯度爆炸。但是在参数中有梯度裁剪,所以也无须担心梯度爆炸。
回复 支持 反对

使用道具 举报

0

主题

39

帖子

275

积分

初级丹师

Rank: 3Rank: 3

积分
275
发表于 2024-3-31 18:13:48 | 显示全部楼层
感谢老哥分享
回复 支持 反对

使用道具 举报

0

主题

66

帖子

340

积分

初级丹师

Rank: 3Rank: 3

积分
340

万事如意节日勋章

发表于 2024-4-10 19:33:20 | 显示全部楼层
直接合成惨不忍睹
回复 支持 反对

使用道具 举报

4

主题

27

帖子

1180

积分

初级丹圣

Rank: 8Rank: 8

积分
1180
 楼主| 发表于 2024-4-12 09:25:15 | 显示全部楼层
aimi 发表于 2024-4-10 19:33
直接合成惨不忍睹

当预训练模型用吧,我再跑一跑。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-4-20 19:18 , Processed in 0.083614 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表