每次自动保存的迭代时间和实时显示的不一致是为什么

itqzja5

我给你个跟你完全相反的图,
实时记录迭代时间比日志文件迭代时间小的多




每个丹在不同阶段开不同的参数会影响这个数值,
而且出现实时记录与日志文件不符的时候往往都是实时loss跨度比较大的阶段,
也就是说你正在训练一些大loss信息的图片,这并不是说你的素材一定不好,回头检查一下我觉得是有必要的,比如特征点,清晰度,遮罩等等.
有关显存的占用,并不会稳定在某一数值范围以内,这个也是看你模型处于哪一阶段,初期会稳定在80%甚至90%以上,慢慢的这个"心电图"会不定期的变化,即使你同一参数跑一天,早晨和晚上的轨迹就不一样,这是因为训练到一定程度,这部分信息已经被写入神经网络,模型会自动进行其他数据的学习,每次迭代硬件处理的数据量不同,导致了占用不稳定,导致迭代时间的千变万化.而且这种情况并不是因为模型迭代次数多缓存占用大导致的,因为迭代次数清空并不能改善它,所以不用纠结这个东西,反正又不会炸丹.
以上个观

didiwei

itqzja5 发表于 2024-6-25 22:16
我给你个跟你完全相反的图,
实时记录迭代时间比日志文件迭代时间小的多

现在的素材是从一整部宣称4k的20集电视剧，单集10g以上里截取出来的图。因为素材量大，我的src是以每秒一帧截取的，经过切片和切脸，筛选出目标人脸的素材就有15w+，经过一定的清晰度软件的查重，以及直方图排序后手动筛选掉一连串的在帧上连续的模糊图，最后有留有3w+。然后将这3w+素材按照正脸和大角度脸分类，再次进行查重，将角度以及表情变化微小的图片尽量移出aligned，剩下的我导入Xseg遮罩后用论坛里的图片浏览器手动去除五官模糊的帧，只保留未被遮挡五官的，清晰可见五官细节的帧，到这一步只剩下了4k+。不过我留了部分大角度脸但是微糊的素材，因为正脸和大角度比大概是3：1，还是想多留一些大角度的素材。有可能就是这些微糊的素材导致的变化吧。loss跨度和loss下降是一回事吗，我看我训练的loss下降程度在0.02上下。我在训练时没有打开梯度裁剪或许也有关系吧，一开始训练只开个扭曲或者眼嘴和侧脸也不会炸丹，梯度感觉比较占用gpu前期关了给bs让路

itqzja5

didiwei 发表于 2024-6-25 22:45
现在的素材是从一整部宣称4k的20集电视剧，单集10g以上里截取出来的图。因为素材量大，我的src是以每秒一 ...

       首先对你切图的手法,步幅我觉得要调整一下,4K10G单集的片源,帧率60,你一秒就抽一帧,而这一帧指不定是带有动态模糊或者运镜的那一帧,这可能导致你在后期处理的时候把这一帧给删掉,这意味着整个这一秒的镜头的素材你全给删了,是正脸还好,但恰恰这一秒是稀有表情或者角度呢?所以你应该加大每秒抽取的帧数,当然也没必要全抽,谁的硬盘也受不了这个,100T也不够用.我建议不管30帧还是60帧率,每秒最少抽5帧,再去筛.
      其次,我说的loss实时跨度是说最后一排,最后两列那个蹦跳的loss值,前面是srcloss,后面是dstloss,它们在哪一数值区间变化,最大值和最小值的差.
      梯裁一定一定要开,甚至开了梯裁也要频繁及时备份,不要问为什么,不信的话,撞一回南墙就明白了.

hhgg2277

didiwei 发表于 2024-6-25 19:55
每次迭代就刷新的那行一直很高，但是自动保存的几行都很低。好怪现在

我的跟你相反，实时低，自动保存的高。

didiwei

itqzja5 发表于 2024-6-25 23:19
首先对你切图的手法,步幅我觉得要调整一下,4K10G单集的片源,帧率60,你一秒就抽一帧,而这一帧指不定 ...

等合成效果不好，需要补素材的时候我再重新裁这两天筛恶心了

didiwei

hhgg2277 发表于 2024-6-25 23:24
我的跟你相反，实时低，自动保存的高。

不影响训练，就我看着难受啊哈哈哈