deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
123
返回列表 发新帖
楼主: didiwei

每次自动保存的迭代时间和实时显示的不一致是为什么

[复制链接]

5

主题

176

帖子

5315

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5315
发表于 2024-6-25 22:16:47 | 显示全部楼层
本帖最后由 itqzja5 于 2024-6-25 22:45 编辑

我给你个跟你完全相反的图,
实时记录迭代时间比日志文件迭代时间小的多


229b1394d51475d9c241f86668fd7a7.png

每个丹在不同阶段开不同的参数会影响这个数值,
而且出现实时记录与日志文件不符的时候往往都是实时loss跨度比较大的阶段,
也就是说你正在训练一些大loss信息的图片,这并不是说你的素材一定不好,回头检查一下我觉得是有必要的,比如特征点,清晰度,遮罩等等.
有关显存的占用,并不会稳定在某一数值范围以内,这个也是看你模型处于哪一阶段,初期会稳定在80%甚至90%以上,慢慢的这个"心电图"会不定期的变化,即使你同一参数跑一天,早晨和晚上的轨迹就不一样,这是因为训练到一定程度,这部分信息已经被写入神经网络,模型会自动进行其他数据的学习,每次迭代硬件处理的数据量不同,导致了占用不稳定,导致迭代时间的千变万化.而且这种情况并不是因为模型迭代次数多缓存占用大导致的,因为迭代次数清空并不能改善它,所以不用纠结这个东西,反正又不会炸丹.
以上个观




个人观点,无恶意,如有错误欢迎大佬们斧正.
没有论点就无脑喷的沙雕滚远点,别碍我眼,如果你觉得我不对,那一定是你对了.
回复 支持 反对

使用道具 举报

3

主题

40

帖子

242

积分

初级丹师

Rank: 3Rank: 3

积分
242
 楼主| 发表于 2024-6-25 22:45:55 | 显示全部楼层
本帖最后由 didiwei 于 2024-6-25 22:49 编辑
itqzja5 发表于 2024-6-25 22:16
我给你个跟你完全相反的图,
实时记录迭代时间比日志文件迭代时间小的多

现在的素材是从一整部宣称4k的20集电视剧,单集10g以上里截取出来的图。因为素材量大,我的src是以每秒一帧截取的,经过切片和切脸,筛选出目标人脸的素材就有15w+,经过一定的清晰度软件的查重,以及直方图排序后手动筛选掉一连串的在帧上连续的模糊图,最后有留有3w+。然后将这3w+素材按照正脸和大角度脸分类,再次进行查重,将角度以及表情变化微小的图片尽量移出aligned,剩下的我导入Xseg遮罩后用论坛里的图片浏览器手动去除五官模糊的帧,只保留未被遮挡五官的,清晰可见五官细节的帧,到这一步只剩下了4k+。不过我留了部分大角度脸但是微糊的素材,因为正脸和大角度比大概是3:1,还是想多留一些大角度的素材。有可能就是这些微糊的素材导致的变化吧。loss跨度和loss下降是一回事吗,我看我训练的loss下降程度在0.02上下。我在训练时没有打开梯度裁剪或许也有关系吧,一开始训练只开个扭曲或者眼嘴和侧脸也不会炸丹,梯度感觉比较占用gpu前期关了给bs让路
回复 支持 反对

使用道具 举报

5

主题

176

帖子

5315

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5315
发表于 2024-6-25 23:19:07 | 显示全部楼层
本帖最后由 itqzja5 于 2024-6-25 23:28 编辑
didiwei 发表于 2024-6-25 22:45
现在的素材是从一整部宣称4k的20集电视剧,单集10g以上里截取出来的图。因为素材量大,我的src是以每秒一 ...

       首先对你切图的手法,步幅我觉得要调整一下,4K10G单集的片源,帧率60,你一秒就抽一帧,而这一帧指不定是带有动态模糊或者运镜的那一帧,这可能导致你在后期处理的时候把这一帧给删掉,这意味着整个这一秒的镜头的素材你全给删了,是正脸还好,但恰恰这一秒是稀有表情或者角度呢?所以你应该加大每秒抽取的帧数,当然也没必要全抽,谁的硬盘也受不了这个,100T也不够用.我建议不管30帧还是60帧率,每秒最少抽5帧,再去筛.
      其次,我说的loss实时跨度是说最后一排,最后两列那个蹦跳的loss值,前面是srcloss,后面是dstloss,它们在哪一数值区间变化,最大值和最小值的差.
      梯裁一定一定要开,甚至开了梯裁也要频繁及时备份,不要问为什么,不信的话,撞一回南墙就明白了.
个人观点,无恶意,如有错误欢迎大佬们斧正.
没有论点就无脑喷的沙雕滚远点,别碍我眼,如果你觉得我不对,那一定是你对了.
回复 支持 反对

使用道具 举报

8

主题

148

帖子

1627

积分

初级丹圣

Rank: 8Rank: 8

积分
1627

节日欢乐之星勋章

发表于 2024-6-25 23:24:40 | 显示全部楼层
didiwei 发表于 2024-6-25 19:55
每次迭代就刷新的那行一直很高,但是自动保存的几行都很低。好怪现在

我的跟你相反,实时低,自动保存的高。
回复 支持 反对

使用道具 举报

3

主题

40

帖子

242

积分

初级丹师

Rank: 3Rank: 3

积分
242
 楼主| 发表于 2024-6-26 00:21:05 | 显示全部楼层
itqzja5 发表于 2024-6-25 23:19
首先对你切图的手法,步幅我觉得要调整一下,4K10G单集的片源,帧率60,你一秒就抽一帧,而这一帧指不定 ...

等合成效果不好,需要补素材的时候我再重新裁这两天筛恶心了
回复 支持 反对

使用道具 举报

3

主题

40

帖子

242

积分

初级丹师

Rank: 3Rank: 3

积分
242
 楼主| 发表于 2024-6-26 00:22:37 | 显示全部楼层
hhgg2277 发表于 2024-6-25 23:24
我的跟你相反,实时低,自动保存的高。

不影响训练,就我看着难受啊哈哈哈
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-25 21:57 , Processed in 0.461724 second(s), 31 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表