我练模型时怎么有时快有时慢

别看我我不在

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

    如题，有时候练模型挺快的，400左右就有一次了。电脑主机散热强烈。有时就会变慢了。1000左右一次了。机器几乎 不发热。

     这是啥 原因呀，我练的是同一个模型。

pasanonic

如果在参数不变的情况下波动很大
那就是其他程序占用了显存
硬盘有其他程序大量数据读取

itqzja5

正常现象,
1.每次迭代根据BS值点名不同的几张图片进行学习,而不同的图片组合所携带的数据量是不同的,这就给迭代耗时造成一个不确定的时长
2.即使不改参数,模型在某一阶段学习到一定程度,会自动进入下一阶段的学习,整个过程中所处理的数据量都不尽相同
3.不同的参数造成模型训练时所占用资源的不同,算力就那么大,机器的状态比如各硬件散热情况/其他软件运行等等都会影响模型学习时所被分配的算力大小

每个人训练习惯不一样,既然你注意到这个迭代耗时,那么建议你每次更改参数,测试一下最适合自己的BS值,我个人习惯是简单粗暴的计算单位时间迭代次数*BS值,哪个大用哪个值,(这种计算方法肯定不对),实测效率确实很有效.

当然也有大佬观点是小BS画轮廓,大BS嘴眼和细节,这不冲突,在大佬的经验基础上根据自己的想法调整去验证完善就好啦

祝顺利!

wtxx8888

根据图片的复杂度，正常下虽然会有浮动，但一般只会差0.05左右。
你这个感觉是开了大LOSS项目，大LOSS的那一下迭代，迭代需时是正常的两倍，这是正常的。
如果不是大LOSS项目的影响，那就是存盘时间过久，造成固定时显示的时间，是很大的。
如果还不是，那就是你炼丹时，有别的程序调用了显卡，这也会让迭代变慢。（好比看视频，看网页，更虎的还有打游戏，等等这些都会影响迭代的速度）

别看我我不在

wtxx8888 发表于 2024-5-10 23:33
根据图片的复杂度，正常下虽然会有浮动，但一般只会差0.05左右。
你这个感觉是开了大LOSS项目，大LOSS的那 ...

我看了任务管理器，发现是显卡问题。有时显卡不工作，有时占用50%。更新显卡驱动后再看看效果。
      华硕的显卡应该不会有大问题

pasanonic

别看我我不在 发表于 2024-5-10 23:58
我看了任务管理器，发现是显卡问题。有时显卡不工作，有时占用50%。更新显卡驱动后再看看效果。
      华 ...

一般情况下要是稳定工作了，没必要升级驱动
，特别是隔代的显卡 ，新的驱动主要优化的是新显卡

xiaobao3636

不懂，学习一下

shnyz

别看我我不在 发表于 2024-5-10 23:58
我看了任务管理器，发现是显卡问题。有时显卡不工作，有时占用50%。更新显卡驱动后再看看效果。
      华 ...

我的也是华硕的显卡，情况一样，我之前边看视频边用软件就有一会占用高，一会占用低，只开这一个程序跑就强一些

别看我我不在

itqzja5 发表于 2024-5-10 23:18
正常现象,
1.每次迭代根据BS值点名不同的几张图片进行学习,而不同的图片组合所携带的数据量是不同的,这就给 ...

这样子呀

别看我我不在

shnyz 发表于 2024-5-16 20:50
我的也是华硕的显卡，情况一样，我之前边看视频边用软件就有一会占用高，一会占用低，只开这一个程序跑就 ...

对的，虽然慢一点但效果还可以，一般跑两小时就可以用了。