请教边学边忘的问题

yty9

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

在用一个256分辨率的万能底丹训练，侧脸低头等大角度素材不够，分辨率不高，临时练着 大致清晰后侧脸素材从src去掉 dst里的侧脸没筛掉。
又练一阵后发现loss骤然上升，dst第5列侧脸模糊 有色块 疑似炸丹，把侧脸等大角度素材放回再练 发现侧脸src第二列全糊了 有的也有色块，慢慢练倒也能再清晰。

我一直的思路是一些大角度学到后更换其他比如清晰度高的正脸开gan，以为src没有的侧脸会调用已学到的或者用dst,结果竟然都不是，而是缺少的素材会学空白数据吗？看教程最后挑清晰度高的开gan,也就是说清晰度高也必须角度全，不清晰的角度要不要开gan都各有问题

如果侧脸学的差不多后把dstl里的侧脸等大角度素材也和src一起拿掉不再练，是否能规避？
学到的数据在大概多少次迭代会忘掉 或者 多大分辨率的丹可以避免类似情况


之前也试过画几张src遮罩只留眼睛，其他面部五官全遮住，混在src里以为能借来别人的眼睛补充src眼睛角度不足，结果也是变糊，似乎src缺少的部分是会用空白代替？
我正常用遮罩训练的好像也出现过 学过去后第5列有src遮罩外的首饰

另外src用了不同时期不同妆容，我对某一时期有偏好，也会将这部分素材单挑出来练，先练可能会忘，后练又可能其他素材练已经学到定型很难再改变，包括不同清晰度素材取舍，训练软件如果能设置不同src的占比权重就好了

nicky9999

yxyao 发表于 2024-6-1 23:09
谢谢解答，这么说的话，开启扭曲学的是整个脸的所有部分的特征，而关闭扭曲的话是只学一部分特征是吗？我 ...

我印象中开gan的时候会无视遮罩范围，所以要用遮罩法补的话不能开着gan

itqzja5

yxyao 发表于 2024-6-2 00:38
谢谢回复，同时我找到了当时半脸那个帖子，src确实是每一张都是半脸，但他好像开着扭曲：
https://dfldat ...

他那个不对  那个帖子我有回复过,开扭曲不能很好的融合   有黑影就是我在贴中说的原因

itqzja5

yxyao 发表于 2024-6-1 23:09
谢谢解答，这么说的话，开启扭曲学的是整个脸的所有部分的特征，而关闭扭曲的话是只学一部分特征是吗？我 ...

不能这么理解   扭曲是"学习"并且"覆盖",关了扭曲硬跑是"融合",当SRC素材面部不全比如只有眼睛或者只有鼻子或者只有嘴巴,这种情况时扭曲会造成缺失那一部分的面部被模型学进黑色的像素从而破坏神经网络,所以除非实在缺失这个角度的src素材  否则就把这种半脸最好删掉.至于扭曲,在训练的时候肯定是要开的  不开的话神经网络怎么学习呢.
你说的全程不开扭曲是在src全部是逻辑不完整的半脸或者部分脸,而且SRC的脸的每一部分出自不同的源脸,造一个新的不存在的src出来这种情况下这么干(不开扭曲)没毛病

itqzja5

yxyao 发表于 2024-6-1 14:51
我记得如果下牙缺失的话可以在src里加入一些下牙模版素材，这么说的话这些下牙素材就一直保留在src中直到 ...

不是的,两种方法添加牙齿
1.利用一个带有牙齿逻辑的丹先合成输出一波你的src,后面再咋做你懂得
2.在自己的丹里添加牙齿逻辑,需要先准备好一套牙模.初期一定不能把牙模素材加进去,因为你开扭曲会强制学习牙模素材非牙区域,而我们需要的是牙模的素材"融合"进去.因此牙齿素材是扭曲完成之后再添加,跑一段时间就会把牙模信息融合进模型   后面只要不开扭曲,那么牙齿逻辑就不会丢失,相应的你的训练步骤也需要做一下微调  

htyy

缺少的高清侧脸什么的，始终不会脑补出来

yty9

htyy 发表于 2024-6-1 13:36
缺少的高清侧脸什么的，始终不会脑补出来

就是侧脸先练了一阵 大致清晰了，但分辨率不够 开gan就拿掉了 再练一阵发现侧脸跟没练一样糊
我是想着不期望把侧脸gan的更清晰，只要是之前练的那样就行，看结果不行

itqzja5

yty9 发表于 2024-6-1 13:54
就是侧脸先练了一阵 大致清晰了，但分辨率不够 开gan就拿掉了 再练一阵发现侧脸跟没练一样糊
我是想着不 ...

任意阶段素材的缺失都会被空白数据覆盖，dfl自行脑补15度内也是要很长时间，前期就使用各种方法把素材补全了很重要，否则后面只能分批添加不能删，除非有更优素材替换，否则前面练的都会归为0。开gan就看着点预览，灵活调整gan值，别弄得侧脸gan过头，正脸还不够，就像烤全羊外面糊了，里面不熟

yxyao

itqzja5 发表于 2024-6-1 14:11
任意阶段素材的缺失都会被空白数据覆盖，dfl自行脑补15度内也是要很长时间，前期就使用各种方法把素材补 ...

我记得如果下牙缺失的话可以在src里加入一些下牙模版素材，这么说的话这些下牙素材就一直保留在src中直到收丹吗？

yxyao

itqzja5 发表于 2024-6-1 15:21
不是的,两种方法添加牙齿
1.利用一个带有牙齿逻辑的丹先合成输出一波你的src,后面再咋做你懂得
2.在 ...

谢谢解答，这么说的话，开启扭曲学的是整个脸的所有部分的特征，而关闭扭曲的话是只学一部分特征是吗？我记得之前有人做过两个人的src，A的上半脸+B的下半脸，如果这么说的话，是不是全程不能开扭曲呢？

yxyao

itqzja5 发表于 2024-6-1 23:18
不能这么理解   扭曲是"学习"并且"覆盖",关了扭曲硬跑是"融合",当SRC素材面部不全比如只有眼睛或者只有鼻 ...

谢谢回复，同时我找到了当时半脸那个帖子，src确实是每一张都是半脸，但他好像开着扭曲：
https://dfldata.cc/forum.php?mod=viewthread&tid=18299