deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
楼主: Zero1314

bs到底开多少合适?

[复制链接]

14

主题

2843

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15320

真我风采勋章万事如意节日勋章

发表于 7 天前 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-10-15 18:45 编辑
星期六中午 发表于 2024-10-15 18:37
这个迭代数是batch还是epoch?

不是懂代码吗?去看呀.....
要是用我写的,样本生成那部分,还带着注释。
回复 支持 反对

使用道具 举报

3

主题

118

帖子

720

积分

高级丹师

Rank: 5Rank: 5

积分
720
发表于 7 天前 | 显示全部楼层
本帖最后由 星期六中午 于 2024-10-15 18:48 编辑
wtxx8888 发表于 2024-10-15 18:40
不是懂代码吗?去看呀,问我?

你懂得多,不问你问谁
代码我会去看的,以后多请教、讨论
回复 支持 反对

使用道具 举报

14

主题

2843

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15320

真我风采勋章万事如意节日勋章

发表于 7 天前 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-10-15 18:50 编辑
星期六中午 发表于 2024-10-15 18:46
你懂得多,不问你问谁
代码我会去看的,以后多请教、讨论
...

遍历一次,抽取BS的数量。耗时0.0050.
回复 支持 反对

使用道具 举报

17

主题

148

帖子

1798

积分

初级丹圣

Rank: 8Rank: 8

积分
1798
发表于 7 天前 | 显示全部楼层
星期六中午 发表于 2024-10-15 17:38
但是我观察到的是相同迭代数内,大BS耗时较长
你到底理解我的截图没有啊?看代码看得懂,看文字和图片看 ...

要考虑cpu和内存的压力,自己试,只要“平均迭代时间 ”,(迭代时间÷n bs)≤(迭代时间÷ n-1 bs)就开
回复 支持 反对

使用道具 举报

3

主题

118

帖子

720

积分

高级丹师

Rank: 5Rank: 5

积分
720
发表于 7 天前 | 显示全部楼层
奇奇怪怪的ID 发表于 2024-10-15 18:53
要考虑cpu和内存的压力,自己试,只要“平均迭代时间 ”,(迭代时间÷n bs)≤(迭代时间÷ n-1 bs)就 ...

是这个理,平均迭代时间,相同迭代时间内,bs越小,平均一份bs用时越多。
回复 支持 反对

使用道具 举报

3

主题

118

帖子

720

积分

高级丹师

Rank: 5Rank: 5

积分
720
发表于 7 天前 | 显示全部楼层
wtxx8888 发表于 2024-10-15 18:48
遍历一次,抽取BS的数量。耗时0.0050.

训练时,遍历一遍完所有图片有标记吗?貌似没有打印信息。。。
这个在深度学习里有个名称是epoch,就是轮次的意思,用来标记出读取完一遍所有图了。
回复 支持 反对

使用道具 举报

14

主题

2843

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15320

真我风采勋章万事如意节日勋章

发表于 7 天前 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-10-15 19:56 编辑
星期六中午 发表于 2024-10-15 19:30
训练时,遍历一遍完所有图片有标记吗?貌似没有打印信息。。。
这个在深度学习里有个名称是epoch,就是轮 ...

DFL直接抽BS数量的图,无任何显示。只能感觉到耗时,0.0050.
所以我说,高BS快在次数少,节省了抽图的时间。
BS 16抽一次16张,耗时0.0050,等于BS 4要抽4次才16张,一次0.0050,光抽图四次,就要耗时0.0200。
BS 16比BS 4,节省抽图的时间,0.0150。
你一直都没绕明白,就纠结在名词上。有啥用?
这一眼就明白的数值差,从开始,一直饶到了现在。。。



回复 支持 反对

使用道具 举报

3

主题

118

帖子

720

积分

高级丹师

Rank: 5Rank: 5

积分
720
发表于 7 天前 | 显示全部楼层
wtxx8888 发表于 2024-10-15 19:44
DFL直接抽BS数量的图,无任何显示。只能感觉到耗时,0.0050.
所以我说,高BS快在次数少,节省了抽图的时间 ...

那抽样4次,在DFL里不是用多线程并发抽样的咯
纠结在名词上不是我意图,没能明白DFL轮次问题(没有标记出遍历一遍总数了)才是本质
没有名词,我们也是沟通不起来,动词,数词,介词亦是如此
回复 支持 反对

使用道具 举报

14

主题

2843

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15320

真我风采勋章万事如意节日勋章

发表于 7 天前 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-10-15 20:18 编辑
星期六中午 发表于 2024-10-15 20:01
那抽样4次,在DFL里不是用多线程并发抽样的咯
纠结在名词上不是我意图,没能明白DFL轮次问题(没有标记出 ...

抽图一次,等于迭代一次。
就算再怎么并发,你指定的是4,还能给你抽出16?扯呢?
哪怕再退一步,有让你指定倍数的地方吗?没有!那你指定的是4,你想让电脑给你几?
简单的数字面上,都能看出差距的东西,没学过编程的人,都算的明白~

回复 支持 反对

使用道具 举报

3

主题

118

帖子

720

积分

高级丹师

Rank: 5Rank: 5

积分
720
发表于 7 天前 | 显示全部楼层
wtxx8888 发表于 2024-10-15 20:06
抽图一次,等于迭代一次。
就算再怎么并发,你指定的是4,还能给你抽出16?扯呢?
简单的数字面上,都能看 ...

bs开小4,我就把线程数置成4,一个线程处理一个bs4,节省抽样频次多而多用的时间,
学过编程,也存在逻辑漏洞,我不是在编程,我是在修bug的路上...
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-10-22 14:26 , Processed in 0.094388 second(s), 8 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表