训练时dst的素材清晰与否会影响最终的模型效果吗？

Lige

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

各位大佬，请教个问题，训练时dst的素材清晰与否会影响最终的模型效果吗，
比如dst共有22万张，其中有几千张质量可能不是很好，有一点点模糊，
但是src素材确认很比较好的，是4K视频切出来的，
这样最终训练出来的模型不知道会不会有影响模型换脸清晰度的可能?

z6163727

Lige 发表于 2024-2-7 12:14
好的，感谢大佬，确实训出来后用deepfacelive换脸时留意了一下，在不开锐化情况下：
原脸在1080p视频中占 ...

deepfacelive我只有跟著教學玩過幾次沒有深入研究
所以我說的話可以就不看了~~~

我也看不太懂你的問題
你說占比小的時候很糊  我記得LIVE有在抓臉部特徵點  就是   眉毛鼻子眼睛嘴吧 以及臉框的特徵點
如果臉的占比太小小到偵測不太出特徵點就會導致錯亂，或是抓不到特徵點之類的
不懂特徵點的話aligned_debug這個資料夾就是特徵點，
看是不是會因為臉占比太小特徵點錯或沒抓好導致臉貼不上去

至於把模糊的拿掉訓練拿來用LIVE之後的效果 這個我就不太清楚了
模糊圖我也會用不管是DSC或是SRC，我的想法是模糊時AI可以拿模糊的去弄
但這個觀念對不對就難說
因為在我的理解裡，換臉就是先匹配SRC與DST的類似角度，
如果100%吻合在我看法他會直接用那張照片下去，再用遮罩切掉不必要的
如果眼睛嘴吧不對在修修改改
在篩選相似照片裡 模糊的圖會被歸類再一起，
所以模糊的SRC被直接拿去模糊的DST用的機率我覺得比較高
換臉作品我會使用模糊的  
不知道對你有沒有幫助蝦說了一堆  但反正我是沒完LIVE

zsgdfl2023

不会，但会影响合成效果

z6163727

DST太模糊  SRC太高清 面具感會有點重   合成時加點動態模糊 加噪之類的弄一弄就行了

Lige

zsgdfl2023 发表于 2024-1-11 19:35
不会，但会影响合成效果

好的，谢谢

Lige

z6163727 发表于 2024-1-12 08:19
DST太模糊  SRC太高清 面具感會有點重   合成時加點動態模糊 加噪之類的弄一弄就行了 ...

好的，感谢大佬，确实训出来后用deepfacelive换脸时留意了一下，在不开锐化情况下：
原脸在1080p视频中占比大的时候，换脸后就清晰，不知道是不是因为原脸清晰的原因？
原脸在1080p视频中占比小的时候，换脸后就糊的一塌糊涂，这时候必须要开锐化了，不然不忍直视，不知道是不是原脸模糊的原因？
小弟有个问题想请教下大佬，就是我目前训的数据情况是：dst中有三分之二高清图片，三分之一不太高清图片（这样做数据的原因我本以为可以让模型泛化能力好一点，但是现在实际是相反的，倒打一耙，唉），src全部是4k切的脸图绝对高清的，训出来就是现在上面那个情况了。
那如果我后面改一下训练数据，把dst和src都用高清的图片去训，到时候模型训好换脸时还会出现上面的那些情况吗？或者会有其它不足或反作用吗，小弟小白一个，跪求大佬解答，感谢感谢，哈哈

Lige

z6163727 发表于 2024-2-7 12:42
deepfacelive我只有跟著教學玩過幾次沒有深入研究
所以我說的話可以就不看了~~~

有帮助的，谢谢大佬，

Lige

zsgdfl2023 发表于 2024-1-11 19:35
不会，但会影响合成效果

大佬，那这个影响合成效果是比全是高清dst加高清src训练出来清晰度更差是吗？