新人入门中，感谢大家的帮助，在请教一个问题？

hailingr

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

刚刚入手dfl，现在有一些基础概念的疑问，大家不要笑话我哈
一、专有模型（比如：刘亦菲模型），这种是否就是用刘亦菲的脸来替换其他任意人的万有模型，这个模型就是src中只用刘亦菲的面部图片（aligned目录下），dst中用很多其他任意人的面部图片来进行若干次训练得来的模型？
二、通用模型，这种是否是src和dst（aligned目录）中都用任意人的面部图片来进行若干次训练得来的模型？
三、src和dst下的aligned面部文件只在训练的时候有用；合成、导出视频的时候src目录中的全部文件都用不到；直接用模型来替换dst中的每一帖图片中的脸部，然后生成视频。
四、用一个现有模型来生成变脸视频的方法和过程是否是如下
     1. 将模型（专有/通用）解压并放到model目录内（必须）
     2. 将需要替换（源src)的人的视频分解为图片（可选）并提取头像（必须）；或者直接将需要替换头像图片放在src下的aligned目录（必须)
     3. 将被替换（目标dst)的人的视频分解为图片（必须执行）即并提取头像（可选）
     4. 开始选择现有模型进行训练，训练到合适程度后保存结束训练
     5. 合并的时候在预览窗口做一些处理（比如遮罩的调整,等...)
     6. 导出视频

sd4981480

em……论坛的DFL教程区块里的内容建议你详细看一下，你问的这些都有的，自己动手丰衣足食

z6163727

一，二點
專有大概是指我這個模型只練這個SRC(比如劉亦菲)，至於初期SRC的部分是不是只拿劉亦菲的圖來練這個沒人知道，只是後期都只練劉亦菲 也可以叫"專有"(專丹)，這裡談到的DST就基本上會用很多人臉去練
而通用模型通常是指用預訓練 把每一種臉拿一張然後拿上萬張臉未給AI讓他嘗試各種變化，
句我所理解 一個丹你把它練到這個人很像的時候你把它保存起來，那就能較專丹(至於其他人想法我就不管)
而這個丹你現在假如練好劉亦菲  再拿去練30幾位明星也能把它較為通用模型，因為你在丟第31位明星它也有
能力快速練出來，這也是預訓練跟通用模型要的效果......有點繞希望你能理解

第三點大概理解是對的，合成後會有個資料夾merged會用這個資料夾裡的照片合成影片
第四點
1.那不是必須的 你沒有丹也能訓練會從新培養丹
2.SRC 反正就是把提取好的臉或載下來提取好的臉 放到aligned裡
3.DST 影片分解成圖片後依定要提取臉不然怎麼換臉，
如果你說的 可選 是有些照片沒臉不用提所以可選那我沒話說
4.5.6.大略上就是這樣沒錯

要做的專精在第4點的時候要介入遮罩，不過你先這樣玩也行

hailingr

z6163727 发表于 2023-7-25 13:03
一，二點
專有大概是指我這個模型只練這個SRC(比如劉亦菲)，至於初期SRC的部分是不是只拿劉亦菲的圖來練這 ...

感谢您这么仔细的回答，谢谢；基本上解决了我90%的疑问了
谢谢，辛苦了
梳理了理解了，再次感谢
一、整个过程中，src其实要的只是头像图片（要么用dfl自带的转换工具，转换头像；要么自己同其他工具切出头像图片放在data_src/aligned
二、模型（丹）的训练依赖data_src/aligned 和data_dst/aligned下的头像进行
三、合并（合成）会通过模型（丹）和data_dst下分帧图生成最后的替换图并存放于merged目录待导出视频
四、专有模型（专丹）只是在后期一直有指定的一个人脸再练src，dst会用很多脸（被替换脸，视当前需要替换的脸而定）
五、通用模型常出于预训练，用上万张不同的人脸在src和dst交叉训练，让ai尝试各种可能并生成最终的模型（丹），专有和通用并没有明显的区分，专有一般会在通用模型的基础上对src进行固化训练达成想要的效果

z6163727

第一點錯了，除非特殊工具，
不然提取臉會進行特殊標記，具體是啥我不會，但隨便的工具提取無法被DFL用

其他大方向是對的還有很多細項

hailingr

z6163727 发表于 2023-7-25 16:29
第一點錯了，除非特殊工具，
不然提取臉會進行特殊標記，具體是啥我不會，但隨便的工具提取無法被DFL用

了解，头像还得通过dfl来抽取生成，有特殊标记，用第三方工具直接生成的头像不能直接用于aligned
谢谢

qdpushaver

感觉楼主学习进度跟我差不太多，都是入门的萌新问题，论坛太多这样的提问，大佬们大概不会再费力回答了。正好可以讨论下，不对的地方请指正。
一、专有模型（比如：刘亦菲模型）......是的。
二、通用模型，这种是否是src和dst（aligned目录）中都用任意人......基本对，但应该都有偏向，毕竟东西方人五官比例不一样，男女也不一样，所以，例如东方女性神丹，用来训练西方男性效果应该会打折扣（没验证，猜的）
三、src和dst下的aligned面部文件只在训练的时候有用......这条有部分错误认识，这俩文件夹的作用可以看看我最近的一片学习笔记   https://dfldata.cc/forum.php?mod ... id=15053&extra=
四、用一个现有模型来生成变脸视频的方法和过程是否是如下
     1. 将模型（专有/通用）......对的。
     2. 将需要替换（源src)的人......有错误。aligned文件夹里的提取面部图像，是带有landmark点的（虽然看不见，但是dfl软件能看到），也就是debug文件里能看到那些头、脸、五官的标记，自己切了放进去会不识别。可以用软件自带的切脸，或者mve来切，推荐按新手教程走一遍之后，就开始学习mve，论坛内有较多相关资料，比自带的好用。
     3. 将被替换（目标dst)的人的视频分解为图片（必须执行）即并提取头像（可选）.......没看懂，不提取头像的话，模型没东西训练呢。
     4. 开始选择现有模型进行训练，训练到合适程度后保存结束训练......对的。但是其中需要注意的细节太多了，慢慢摸索吧。
     5. 合并的时候在预览窗口做一些处理（比如遮罩的调整,等...)......这个步骤应该是合成吧，也有太多细节。
     6. 导出视频.......对的。

建议，自己拿软件自带的钢铁侠和马斯克的素材，按照教程走一遍流程，然后再随便找几个短的视频，比如肌肉金轮什么的，练练手，就能发现不少问题。我现在的进度是，发现，很多模型训练和合成的问题，其实是开始搜集素材阶段就埋下的隐患，不好解决，所以，正在回头学习如何完备素材。
加油。

hailingr

qdpushaver 发表于 2023-7-25 20:21
感觉楼主学习进度跟我差不太多，都是入门的萌新问题，论坛太多这样的提问，大佬们大概不会再费力回答了。正 ...

感谢解答，基本上这些疑问弄清楚了
现在我出现一个新的问题，训练完毕后，合并生成的merged中只有390帧，但是dst中抽取出来的是890帧，这样导致我最后导出的视频丢帧了，40秒的视频，只有20多秒有画面，这种情况您遇到过吗，一般是什么原因导致的呢