原来换脸是要把一整部dst视频都切出来的？

fandris

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

萌新最开始的理解是网上找大量的 SRC和DST人物素材，只要训练好模型以后，用模型就可以把DST人物的任意视频都替换成SRC人物的脸


现在看多了教程，好像是SRC可以找大量的乱七八糟角度素材也不需要是单一视频素材，但是DST只能用一整个视频来切画面和脸，而且训练完以后也只能替换训练用的那部视频的脸？？

大哥们我现在理解的对吗？

lyjly

不对，如果你追求速度，只想换一部片子就可以dst只放一部视频的

如果你追求质量，那么dst就要是大量的杂七杂八的素材，让你的模型得到充分的学习，可以把不同的人都换成你的src

fandris

lyjly 发表于 2024-2-28 13:19
不对，如果你追求速度，只想换一部片子就可以dst只放一部视频的

如果你追求质量，那么dst就要是大量的杂七 ...

目前比较混乱，应该是先进行大量训练，这个过程叫炼丹，炼丹完了在换脸之前要把目标视频再全片切一次训练，是这样吗？

htyy

杂七杂八练是增加模型泛用性，练好后换单人dst那叫复用，效果不好的话练个一会也能有很好的效果

z6163727

首先回答你標題  DFL本來就是把目標影片切成照片
再從照片動手腳，動完手腳再拿原影片的聲音跟動完手腳的照片合再一起(具體細節別在意)


雜七雜八的圖餵給你的模型(不管SRC或DST)相當於一個賽車手讓他練習各種技巧，
過彎技巧加速技巧踩油門之類的，餵那些圖都算是預備訓練，
求以後在賽場上有更好的成績
餵雜七雜八的圖等於預訓練  下面滾石大大也有教學

目前比较混乱，应该是先进行大量训练，这个过程叫炼丹，炼丹完了在换脸之前要把目标视频再全片切一次训练，是这样吗？

你這句話問得有點混亂，你有跑過一次正常訓練了嗎?清楚正常訓練步驟嗎
https://dfldata.cc/forum.php?mod=viewthread&tid=595&extra=page%3D1
滾石大大的教學一一看完吧

這是一個正常換臉的過程與步驟，沒有提到雜七雜八的圖，
說明練這個雜七雜八的圖不再正常訓練當中

煉丹這個詞我也是來論壇才知道，以下是我自己的理解
因為需要長時間的訓練可能有如煉丹，而且模型也會壞掉如同炸丹，
所以丹被拿來形容模型，訓練模型就變成煉丹
然後練雜七雜八的圖也是練模型  正常的訓練也是練模型，所以都能叫煉丹

Winter

不用的。DST视频中一定有一些不包含目标脸的片段，这些不需要处理，只把有目标脸的片段切出来换脸就可心。

fandris

z6163727 发表于 2024-2-28 17:20
首先回答你標題  DFL本來就是把目標影片切成照片
再從照片動手腳，動完手腳再拿原影片的聲音跟動完手腳的照 ...

我目前只跑到训练saehd模型这一步，我这两天才开始接触DFL，看完教程也有一些没理解清楚的地方，不过也在慢慢摸索。到底还是要自己跑完全程才能更好的理解教程里的东西

fandris

Winter 发表于 2024-2-28 18:16
不用的。DST视频中一定有一些不包含目标脸的片段，这些不需要处理，只把有目标脸的片段切出来换脸就可心。 ...

大概明白了，用大量收集的数据训练好模型以后，还要把要换脸的片子切出来跑一次模型训练，然后就可以合成了

Deannnn

z6163727 发表于 2024-2-28 17:20
首先回答你標題  DFL本來就是把目標影片切成照片
再從照片動手腳，動完手腳再拿原影片的聲音跟動完手腳的照 ...

深度学习训练一直被戏称为炼丹

若苗瞬

呃，不太对吧。
LZ似乎把“训练”和“合成”理解成同一批dst必须经历的同一个阶段了。

1）无论合成哪个dst，肯定要这个dst全部。
2）训练时没用某个dst，也可以合成它（效果还不见得太差）。

PS：和楼上类似，我也是到论坛才知道“炼丹”啥意思。调侃其实无所谓，明白了就行。
只是不少人滥用这个词了，他们提问时不仅把模型叫丹，还把src/dst，以及faceset，都叫丹。
也不分个鸡蛋鸭蛋荷包……