关于炸丹跟充分训练的冲突和悖论

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

关于底丹该迭代多少次，没有一个统一的标准，有的人说训练越多越好，300万大成，500万丹成，我刚上手的时候训练的轻量级模型，迭代速度很快，基本上一天接近100万次，为了防止污染，底丹图片都是同一个人物视频提取，训练到500万次的时候人物面部开始从清晰变模糊，到800万次的时候直接变彩色乱码，这种情况我网上搜了一下是炸丹了，几十天的苦功白费了。
我又回头再筛选了一次底丹的图片，把光影差别大的图全部删了，拿出500万次的备份继续炼，到700多万次的时候又炸了，网上搜了一下应该是梯度炸了，再加上可能炼过头过拟合的问题，丹基本上已经废了。
现在的问题是，不炼到一定的程度，出不了效果，dst欠拟合，炼过头src又过拟合，再加上不明原因的炸梯度，肉眼看不出来不说，不可能一直盯着屏幕炼丹，轻量级模型不支持降低学习率和梯度裁剪。
目前开了一个入门级的重量级模型，初步迭代80万次左右，到三五百万次根据效果下调学习率和开梯度裁剪，再炸丹我就没法再坚持了，十几万张的素材加工已经让我不堪重负，0基础学的这个软件时间成本和沉没成本太高了。
我就是想跟大佬们交流一下，希望大佬们能给我点经验和指点，有哪些防止炸丹的经验，学习率和梯度裁剪在什么情况下用，有什么作用，万分感谢。

z6163727

10幾萬張素材還真龐大，你可以試著用2千張 或5千張開始做，
當時我入門時 有做個學妹，300多張就挺像的了，
別把入門搞太難，試著先做短影片，1分鐘的DST，然後剛剛說的不高於上萬張的照片，
當然篩選一下，DST影片幅度別太大，盡量找下面圖藍圈之間的臉部移動的影片
SRC相對的也只要藍圈裡的素材
這裡用到的圖是這篇教學裡的https://dfldata.cc/forum.php?mod=viewthread&tid=1612&extra=page%3D1


至於学习率和开梯度裁剪
這是滾石大大的教學21. 使用学习率衰减 29. 使用梯度剪裁
滾石大大教學

至於練幾百萬次大成甚麼的 跟 损失值 ，只要練超過10小時以上(甚至1小時以上)那都不重要了
你肉眼看得像就好，能騙過你的眼睛就好，你覺得最右邊那裏已經可以騙過你的眼睛的話，就合成看看
合成時有其他背景之類的 會讓缺點放大或縮小，如果又能騙過你的眼睛  就合成 成影片

看影片效果  不佳  就在調整參數，別卡住迷失了
至於炸丹  我只有在GAN開太高炸過，跟換新素材有時會崩掉(這個不保存就都還好)


一步一步來吧，上面那圈圖  先玩藍色  在玩橙色  在玩紅色，
但我玩了快4年也只在藍圈外，我自己YY用而已 夠夠的了
橙色跟紅色圈，說實話大角度換上也看不出是誰，沒必要玩

wtxx8888

轻量是啥？Q96吗？那你直接标准SAEHD得了，Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的丹，就特么的是Q96！别用那个一键Q96！
resolution = 96
arch i= df-ud
ae_dims = 128
e_dims = 64
d_dims = 64
d_mask_dims = 16

你现在的LOSS，早该开梯度裁剪了（个人意见LOSS 0.2以下，就要开梯度。0.1有点晚了。你SRC已经都0.1了。。。你没开梯度的话，快要炸了）。
至于LRD学习率下降，个人意见是，不要开，那玩意弊端极大！效果满意后直接GAN即可，越过教程中的LRD。
GAN只要开了，就可能炸丹。项目本身特性就那样，开GAN就要准备好炸。至于到底炸不炸，一看GAN项目的强度，二看脸！

至于你说学习成本跟时间成本太高，那是因为你没相关基础，有计算机基础的，学习这个，用1天足够了。
软件全部会用也就用不上1天，但特么的，素材才是重头戏，准备一套精品点的素材，少说得人工一周。。。

dfl9999

wtxx8888 发表于 2024-7-6 11:23
轻量是啥？Q96吗？那你直接标准SAEHD得了，Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的 ...

马上开，吓死我了

htyy

找个底丹，dst杂图在1.3w就行，loss降不动就得停了下一步，记得多备份

dfl9999

z6163727 发表于 2024-7-6 09:33
10幾萬張素材還真龐大，你可以試著用2千張 或5千張開始做，
當時我入門時 有做個學妹，300多張就挺像的了， ...

茅厕顿开啊，谢谢

dfl9999

htyy 发表于 2024-7-6 16:37
找个底丹，dst杂图在1.3w就行，loss降不动就得停了下一步，记得多备份

我记得都是loss降不动强行炼炸的

dfl9999

z6163727 发表于 2024-7-6 09:33
10幾萬張素材還真龐大，你可以試著用2千張 或5千張開始做，
當時我入門時 有做個學妹，300多張就挺像的了， ...

动作片的角度和表情可刁钻了

roy777

wtxx8888 发表于 2024-7-6 11:23
轻量是啥？Q96吗？那你直接标准SAEHD得了，Q96用的DF-UD架构。
你SAEHD建个以下四维及解析度的DF-UD架构的 ...

梯度裁剪要开吗？我都没注意这个参数，一直关闭的

z6163727

dfl9999 发表于 2024-7-6 19:43
动作片的角度和表情可刁钻了

也不是沒做過，刁钻的角度你看不出人臉，看得出人臉的就不刁钻