为什么我训练的直播模型眨眼会抖动

648701997

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

眨眼的时候周围会跟着抖动，有眨眼素材，我的模型是AMP ，我下载官方的live模型眨眼也会轻微抖动，这是什么原因呢，有没有大神知道

Tsing518

迭代不够吧 没玩过AMP

z6163727

閉眼瞬間   眉毛 鼻子 嘴吧   眼睛下面都變不一樣，應該是妳看起來閃動的原因
整體嘴吧明顯往左移一點點  眼睛下面有陰影


說明閉眼後偵測到的你的臉改變了  但實則你沒改變，SRC上去之後 形狀也沒改變(眉毛變一點)就是五官位子變動了

所以推測 應該是 DST給的閉眼 瞇眼素材不夠，有用自己的臉當DST素材下去練嗎，有的話多給點不一樣光影  以及慢慢的閉眼的素材

648701997

z6163727 发表于 2024-5-22 12:23
閉眼瞬間   眉毛 鼻子 嘴吧   眼睛下面都變不一樣，應該是妳看起來閃動的原因
整體嘴吧明顯往左移一點點 ...

可以用自己的脸当做DST训练吗，我现在重新添加新的DST,打开扭曲还来得及吧

648701997

vvvvvvv 发表于 2024-5-22 14:15
专业，大佬顺便问个问题，模型用dst官方大数据集训练充分后，在导出dfm之前，再拍一段本人的视频，有 ...

DST可以分开单独训练，一套自己的，一套训练集，自己模仿SRC素材里的动作就可以了

648701997

vvvvvvv 发表于 2024-5-22 14:25
你自己那套dst会拍一些面部遮罩吗，实现模型有遮罩能力

不用

z6163727

648701997 发表于 2024-5-22 13:45
可以用自己的脸当做DST训练吗，我现在重新添加新的DST,打开扭曲还来得及吧 ...

當然可以啊，用大數據練 比如1萬張不同的臉，你只是讓你的模型傭有熟悉1萬張臉的能力，

但你要用直播 用的人還只是你自己，那就是把你會出現的任何情況 ，大笑 吃東西吐舌頭之類的，
用你自己的臉當DST就是讓模型學習到你會有的各種情況，到時候你真人出現 模型不就手拿把掐了

至於開不開扭曲無所謂 我覺得不用  你真人可以做到的表情你就自己盡量拍，扭曲不是有介紹 給素材不夠用的嗎

z6163727

vvvvvvv 发表于 2024-5-22 14:25
你自己那套dst会拍一些面部遮罩吗，实现模型有遮罩能力

有點看不懂你們在聊甚麼

有摸脸捏脸的动作，然后放进dst来训练一会，实时的时候效果应该会更好一些吧？另外本人拍的用手遮住脸的图片需要应用遮罩吗？是画一些训练，还是训练完还需要应用到dst呢

回答上面這個，
圖片的遮罩   100張畫了5張>訓練完，
沒套用，剩下的95張不會得到遮罩。
有套用，剩下的95張才會得到遮罩。

這有點太基礎了.......建議先去玩換臉影片   在玩直播  搞懂一些基礎邏輯

至於動作就是想像一下你直播會做的動作表情，把那些路下來當DST，做成影片，  
影片換起來都不像了 閉眼會閃  手指被蓋住    吃東西筷子被蓋住    飲料  喝水 瓶子被蓋住
這都可以先從影片看到，等完全沒問題 再把他轉成直播丹  再試試看直播