deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 310|回复: 10

关于炸丹跟充分训练的冲突和悖论

[复制链接]

4

主题

41

帖子

265

积分

初级丹师

Rank: 3Rank: 3

积分
265
 楼主| 发表于 2024-7-6 05:18:59 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
关于底丹该迭代多少次,没有一个统一的标准,有的人说训练越多越好,300万大成,500万丹成,我刚上手的时候训练的轻量级模型,迭代速度很快,基本上一天接近100万次,为了防止污染,底丹图片都是同一个人物视频提取,训练到500万次的时候人物面部开始从清晰变模糊,到800万次的时候直接变彩色乱码,这种情况我网上搜了一下是炸丹了,几十天的苦功白费了。
我又回头再筛选了一次底丹的图片,把光影差别大的图全部删了,拿出500万次的备份继续炼,到700多万次的时候又炸了,网上搜了一下应该是梯度炸了,再加上可能炼过头过拟合的问题,丹基本上已经废了。
现在的问题是,不炼到一定的程度,出不了效果,dst欠拟合,炼过头src又过拟合,再加上不明原因的炸梯度,肉眼看不出来不说,不可能一直盯着屏幕炼丹,轻量级模型不支持降低学习率和梯度裁剪。
目前开了一个入门级的重量级模型,初步迭代80万次左右,到三五百万次根据效果下调学习率和开梯度裁剪,再炸丹我就没法再坚持了,十几万张的素材加工已经让我不堪重负,0基础学的这个软件时间成本和沉没成本太高了。
我就是想跟大佬们交流一下,希望大佬们能给我点经验和指点,有哪些防止炸丹的经验,学习率和梯度裁剪在什么情况下用,有什么作用,万分感谢。


1000570733.jpg
回复

使用道具 举报

10

主题

477

帖子

5138

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5138

万事如意节日勋章

发表于 2024-7-6 09:33:11 | 显示全部楼层
10幾萬張素材還真龐大,你可以試著用2千張 或5千張開始做,
當時我入門時 有做個學妹,300多張就挺像的了,
別把入門搞太難,試著先做短影片,1分鐘的DST,然後剛剛說的不高於上萬張的照片,
當然篩選一下,DST影片幅度別太大,盡量找下面圖藍圈之間的臉部移動的影片
SRC相對的也只要藍圈裡的素材
這裡用到的圖是這篇教學裡的https://dfldata.cc/forum.php?mod=viewthread&tid=1612&extra=page%3D1
image.png

至於学习率和开梯度裁剪
這是滾石大大的教學21. 使用学习率衰减 29. 使用梯度剪裁
滾石大大教學

至於練幾百萬次大成甚麼的 跟 损失值 ,只要練超過10小時以上(甚至1小時以上)那都不重要了
你肉眼看得像就好,能騙過你的眼睛就好,
你覺得最右邊那裏已經可以騙過你的眼睛的話,就合成看看
合成時有其他背景之類的 會讓缺點放大或縮小,如果又能騙過你的眼睛  就合成 成影片

看影片效果  不佳  就在調整參數,別卡住迷失了
至於炸丹  我只有在GAN開太高炸過,跟換新素材有時會崩掉(這個不保存就都還好)


一步一步來吧,上面那圈圖  先玩藍色  在玩橙色  在玩紅色,
但我玩了快4年也只在藍圈外,我自己YY用而已 夠夠的了
橙色跟紅色圈,說實話大角度換上也看不出是誰,沒必要玩


回复 支持 反对

使用道具 举报

9

主题

2172

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12143

真我风采勋章万事如意节日勋章

发表于 2024-7-6 11:23:30 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-7-6 12:50 编辑

轻量是啥?Q96吗?那你直接标准SAEHD得了,Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的丹,就特么的是Q96!别用那个一键Q96!
resolution = 96
arch i= df-ud
ae_dims = 128
e_dims = 64
d_dims = 64
d_mask_dims = 16

你现在的LOSS,早该开梯度裁剪了(个人意见LOSS 0.2以下,就要开梯度。0.1有点晚了。你SRC已经都0.1了。。。你没开梯度的话,快要炸了)。
至于LRD学习率下降,个人意见是,不要开,那玩意弊端极大!效果满意后直接GAN即可,越过教程中的LRD。
GAN只要开了,就可能炸丹。项目本身特性就那样,开GAN就要准备好炸。至于到底炸不炸,一看GAN项目的强度,二看脸!

至于你说学习成本跟时间成本太高,那是因为你没相关基础,有计算机基础的,学习这个,用1天足够了。
软件全部会用也就用不上1天,但特么的,素材才是重头戏,准备一套精品点的素材,少说得人工一周。。。




回复 支持 反对

使用道具 举报

4

主题

41

帖子

265

积分

初级丹师

Rank: 3Rank: 3

积分
265
 楼主| 发表于 2024-7-6 16:33:30 | 显示全部楼层
wtxx8888 发表于 2024-7-6 11:23
轻量是啥?Q96吗?那你直接标准SAEHD得了,Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的 ...

马上开,吓死我了
回复 支持 反对

使用道具 举报

13

主题

359

帖子

2272

积分

初级丹圣

Rank: 8Rank: 8

积分
2272
发表于 2024-7-6 16:37:22 | 显示全部楼层
找个底丹,dst杂图在1.3w就行,loss降不动就得停了下一步,记得多备份
回复 支持 反对

使用道具 举报

4

主题

41

帖子

265

积分

初级丹师

Rank: 3Rank: 3

积分
265
 楼主| 发表于 2024-7-6 16:41:58 | 显示全部楼层
z6163727 发表于 2024-7-6 09:33
10幾萬張素材還真龐大,你可以試著用2千張 或5千張開始做,
當時我入門時 有做個學妹,300多張就挺像的了, ...

茅厕顿开啊,谢谢
回复 支持 反对

使用道具 举报

4

主题

41

帖子

265

积分

初级丹师

Rank: 3Rank: 3

积分
265
 楼主| 发表于 2024-7-6 16:43:05 | 显示全部楼层
htyy 发表于 2024-7-6 16:37
找个底丹,dst杂图在1.3w就行,loss降不动就得停了下一步,记得多备份

我记得都是loss降不动强行炼炸的
回复 支持 反对

使用道具 举报

4

主题

41

帖子

265

积分

初级丹师

Rank: 3Rank: 3

积分
265
 楼主| 发表于 2024-7-6 19:43:35 | 显示全部楼层
z6163727 发表于 2024-7-6 09:33
10幾萬張素材還真龐大,你可以試著用2千張 或5千張開始做,
當時我入門時 有做個學妹,300多張就挺像的了, ...

动作片的角度和表情可刁钻了
回复 支持 反对

使用道具 举报

2

主题

41

帖子

307

积分

初级丹师

Rank: 3Rank: 3

积分
307

万事如意节日勋章

发表于 2024-7-6 22:02:58 | 显示全部楼层
wtxx8888 发表于 2024-7-6 11:23
轻量是啥?Q96吗?那你直接标准SAEHD得了,Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的 ...

梯度裁剪要开吗?我都没注意这个参数,一直关闭的
回复 支持 反对

使用道具 举报

10

主题

477

帖子

5138

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5138

万事如意节日勋章

发表于 2024-7-6 22:56:13 | 显示全部楼层
dfl9999 发表于 2024-7-6 19:43
动作片的角度和表情可刁钻了

也不是沒做過,刁钻的角度你看不出人臉,看得出人臉的就不刁钻
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-7-26 00:54 , Processed in 0.099790 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表