deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 765|回复: 7

新人入门中,感谢大家的帮助,在请教一个问题?

[复制链接]

2

主题

13

帖子

105

积分

高级丹童

Rank: 2

积分
105
 楼主| 发表于 2023-7-25 12:42:11 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 hailingr 于 2023-7-25 12:44 编辑

刚刚入手dfl,现在有一些基础概念的疑问,大家不要笑话我哈
一、专有模型(比如:刘亦菲模型),这种是否就是用刘亦菲的脸来替换其他任意人的万有模型,这个模型就是src中只用刘亦菲的面部图片(aligned目录下),dst中用很多其他任意人的面部图片来进行若干次训练得来的模型?
二、通用模型,这种是否是src和dst(aligned目录)中都用任意人的面部图片来进行若干次训练得来的模型?
三、src和dst下的aligned面部文件只在训练的时候有用;合成、导出视频的时候src目录中的全部文件都用不到;直接用模型来替换dst中的每一帖图片中的脸部,然后生成视频。
四、用一个现有模型来生成变脸视频的方法和过程是否是如下
     1. 将模型(专有/通用)解压并放到model目录内(必须)
     2. 将需要替换(源src)的人的视频分解为图片(可选)并提取头像(必须);或者直接将需要替换头像图片放在src下的aligned目录(必须)
     3. 将被替换(目标dst)的人的视频分解为图片(必须执行)即并提取头像(可选)
     4. 开始选择现有模型进行训练,训练到合适程度后保存结束训练
     5. 合并的时候在预览窗口做一些处理(比如遮罩的调整,等...)
     6. 导出视频

回复

使用道具 举报

1

主题

88

帖子

2010

积分

初级丹圣

Rank: 8Rank: 8

积分
2010

节日欢乐之星勋章

发表于 2023-7-25 12:55:38 | 显示全部楼层
em……论坛的DFL教程区块里的内容建议你详细看一下,你问的这些都有的,自己动手丰衣足食
回复 支持 反对

使用道具 举报

10

主题

476

帖子

5504

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5504

万事如意节日勋章

发表于 2023-7-25 13:03:30 | 显示全部楼层
一,二點
專有大概是指我這個模型只練這個SRC(比如劉亦菲),至於初期SRC的部分是不是只拿劉亦菲的圖來練這個沒人知道,只是後期都只練劉亦菲 也可以叫"專有"(專丹),這裡談到的DST就基本上會用很多人臉去練
而通用模型通常是指用預訓練 把每一種臉拿一張然後拿上萬張臉未給AI讓他嘗試各種變化,
句我所理解 一個丹你把它練到這個人很像的時候你把它保存起來,那就能較專丹(至於其他人想法我就不管)
而這個丹你現在假如練好劉亦菲  再拿去練30幾位明星也能把它較為通用模型,因為你在丟第31位明星它也有
能力快速練出來,這也是預訓練跟通用模型要的效果......有點繞希望你能理解

第三點大概理解是對的,合成後會有個資料夾merged會用這個資料夾裡的照片合成影片
第四點
1.那不是必須的 你沒有丹也能訓練會從新培養丹
2.SRC 反正就是把提取好的臉或載下來提取好的臉 放到aligned裡
3.DST 影片分解成圖片後依定要提取臉不然怎麼換臉,
如果你說的 可選 是有些照片沒臉不用提所以可選那我沒話說
4.5.6.大略上就是這樣沒錯

要做的專精在第4點的時候要介入遮罩,不過你先這樣玩也行
回复 支持 反对

使用道具 举报

2

主题

13

帖子

105

积分

高级丹童

Rank: 2

积分
105
 楼主| 发表于 2023-7-25 13:39:25 | 显示全部楼层
z6163727 发表于 2023-7-25 13:03
一,二點
專有大概是指我這個模型只練這個SRC(比如劉亦菲),至於初期SRC的部分是不是只拿劉亦菲的圖來練這 ...

感谢您这么仔细的回答,谢谢;基本上解决了我90%的疑问了
谢谢,辛苦了
梳理了理解了,再次感谢
一、整个过程中,src其实要的只是头像图片(要么用dfl自带的转换工具,转换头像;要么自己同其他工具切出头像图片放在data_src/aligned
二、模型(丹)的训练依赖data_src/aligned 和data_dst/aligned下的头像进行
三、合并(合成)会通过模型(丹)和data_dst下分帧图生成最后的替换图并存放于merged目录待导出视频
四、专有模型(专丹)只是在后期一直有指定的一个人脸再练src,dst会用很多脸(被替换脸,视当前需要替换的脸而定)
五、通用模型常出于预训练,用上万张不同的人脸在src和dst交叉训练,让ai尝试各种可能并生成最终的模型(丹),专有和通用并没有明显的区分,专有一般会在通用模型的基础上对src进行固化训练达成想要的效果
回复 支持 反对

使用道具 举报

10

主题

476

帖子

5504

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5504

万事如意节日勋章

发表于 2023-7-25 16:29:40 | 显示全部楼层
第一點錯了,除非特殊工具,
不然提取臉會進行特殊標記,具體是啥我不會,但隨便的工具提取無法被DFL用

其他大方向是對的還有很多細項
回复 支持 反对

使用道具 举报

2

主题

13

帖子

105

积分

高级丹童

Rank: 2

积分
105
 楼主| 发表于 2023-7-25 16:46:34 | 显示全部楼层
z6163727 发表于 2023-7-25 16:29
第一點錯了,除非特殊工具,
不然提取臉會進行特殊標記,具體是啥我不會,但隨便的工具提取無法被DFL用

了解,头像还得通过dfl来抽取生成,有特殊标记,用第三方工具直接生成的头像不能直接用于aligned
谢谢
回复 支持 反对

使用道具 举报

12

主题

113

帖子

1251

积分

初级丹圣

Rank: 8Rank: 8

积分
1251
发表于 2023-7-25 20:21:23 | 显示全部楼层
感觉楼主学习进度跟我差不太多,都是入门的萌新问题,论坛太多这样的提问,大佬们大概不会再费力回答了。正好可以讨论下,不对的地方请指正。
一、专有模型(比如:刘亦菲模型)......是的。
二、通用模型,这种是否是src和dst(aligned目录)中都用任意人......基本对,但应该都有偏向,毕竟东西方人五官比例不一样,男女也不一样,所以,例如东方女性神丹,用来训练西方男性效果应该会打折扣(没验证,猜的)
三、src和dst下的aligned面部文件只在训练的时候有用......这条有部分错误认识,这俩文件夹的作用可以看看我最近的一片学习笔记   https://dfldata.cc/forum.php?mod ... id=15053&extra=
四、用一个现有模型来生成变脸视频的方法和过程是否是如下
     1. 将模型(专有/通用)......对的。
     2. 将需要替换(源src)的人......有错误。aligned文件夹里的提取面部图像,是带有landmark点的(虽然看不见,但是dfl软件能看到),也就是debug文件里能看到那些头、脸、五官的标记,自己切了放进去会不识别。可以用软件自带的切脸,或者mve来切,推荐按新手教程走一遍之后,就开始学习mve,论坛内有较多相关资料,比自带的好用。
     3. 将被替换(目标dst)的人的视频分解为图片(必须执行)即并提取头像(可选).......没看懂,不提取头像的话,模型没东西训练呢。
     4. 开始选择现有模型进行训练,训练到合适程度后保存结束训练......对的。但是其中需要注意的细节太多了,慢慢摸索吧。
     5. 合并的时候在预览窗口做一些处理(比如遮罩的调整,等...)......这个步骤应该是合成吧,也有太多细节。
     6. 导出视频.......对的。

建议,自己拿软件自带的钢铁侠和马斯克的素材,按照教程走一遍流程,然后再随便找几个短的视频,比如肌肉金轮什么的,练练手,就能发现不少问题。我现在的进度是,发现,很多模型训练和合成的问题,其实是开始搜集素材阶段就埋下的隐患,不好解决,所以,正在回头学习如何完备素材。
加油。
回复 支持 反对

使用道具 举报

2

主题

13

帖子

105

积分

高级丹童

Rank: 2

积分
105
 楼主| 发表于 2023-7-26 09:58:14 | 显示全部楼层
qdpushaver 发表于 2023-7-25 20:21
感觉楼主学习进度跟我差不太多,都是入门的萌新问题,论坛太多这样的提问,大佬们大概不会再费力回答了。正 ...

感谢解答,基本上这些疑问弄清楚了
现在我出现一个新的问题,训练完毕后,合并生成的merged中只有390帧,但是dst中抽取出来的是890帧,这样导致我最后导出的视频丢帧了,40秒的视频,只有20多秒有画面,这种情况您遇到过吗,一般是什么原因导致的呢
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-12 08:12 , Processed in 0.139436 second(s), 33 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表