deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1136|回复: 15

关于dst提取面部的问题,越弄越糊涂了,求助大神们

[复制链接]

12

主题

113

帖子

1251

积分

初级丹圣

Rank: 8Rank: 8

积分
1251
 楼主| 发表于 2023-7-6 22:56:30 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评

简单视频可以按教程顺下来了,给自己稍微上了点难度,就出现问题了,已论坛搜索关键词,自己摸索了解决方式,但是似乎走不通,特求助大神们。

这次剪了一段赌神经典入场bgm那个片段,从大门打开,发哥慢慢走进来开始。想把发哥脸换了(当dst)。


出现*问题一*,用的*自动提取面部 data_dst faceset extract,生成了aligned和debug里面的图片。但是,前面几十帧里,主角是远景,配角们反而是近景,通过查看debug文件夹得知,aligned里面没有提取到主角面部。
我的*做法*:(1)把aligned文件夹里众配角的脸一一删掉;把完全看不到主角脸的图片删掉;
                   (2)把debug文件里没自动框到主角脸的图片删掉;
                    (3)运行*dst 手动提取面部(删除 debug 图片后) data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG ,开始手动画框框。


请问:1.(1)(2)(3)这个解决步骤对不对。
          2.如果上述步骤对的话,这几十帧都得手动把主角的五官框出来么。

*问题二*:这个自带的手动提取器感觉不太聪明。用自动识别(左键),画面放大后有点糊,按照教程打开精细开关,不管是多大比例,慢慢挪鼠标,一直不能正确识别主角五官(见图1、图2),而改用手动标注(右键)的话,每次点击出来的五官位置很随机(见图3),感觉毫无规律,没法对准。

请问:3.手动(也就是右键标注)的话,是应该右键点五官的鼻子还是哪里作为基准点呢,完全搞不懂。另外,选好上下方向和大小后,还能移动吗?
          4.如果不用自带的提取器,有什么好的替代品么。
请大佬指点。


图1

图1


图2

图2


图3

图3





回复

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-7-7 01:35:42 | 显示全部楼层
本帖最后由 come3002 于 2023-7-7 02:07 编辑




第一步;下载视频(从穿着看跟楼主是一部剧,我这个也是远景,只是没用开门的瞬间情景,是开门瞬间之后),
第二步:导入剪映选择4k导出
第三步:切脸,WF512
360截图20230707014356335.png
第四步:坛主人脸清晰化神器

第五步:用专丹 零训练直接合成
开相同的W、E、T

原版下, 远景的 人脸占屏幕比较极小,切出的人脸已经一塌糊涂了。
本没报多大希望。结果换成功了
略微放大后的图片
左1 论坛下载女明星;左2 迪丽热巴gan;左3 下载视频截图。

360截图20230707013343534.png


再放大查看细节

左1 左2 人脸五官完整,精准匹配。
尤其左1的眉毛是向边缘上翘起来的,跟原版完全不一样。说明换脸成功
并且一些细节比原版 清晰一些



360截图20230707013738067.png



一点想法:
第一 片源清晰度很重要。感觉我的这个版本清晰度略高于楼主
第二 舍去开门遮挡人脸的帧(因为远景人脸极小,再有遮挡,几乎一塌糊涂了)
第三 用专丹 哪怕是女性专丹,零训练直接合成就行,不要训练。(这么糊训练意义不大)







回复 支持 1 反对 0

使用道具 举报

1

主题

171

帖子

1153

积分

初级丹圣

别以为拿着扫把的都是神僧

Rank: 8Rank: 8

积分
1153
发表于 2023-7-7 00:19:13 | 显示全部楼层
这么模糊得场面不换也罢,MVE 去试试吧,论坛里有教程比较详细
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12735
发表于 2023-7-7 00:22:39 | 显示全部楼层
这么糊的直接丢掉吧,训练的src和dst不清晰,会污染模型。
回复 支持 反对

使用道具 举报

45

主题

500

帖子

3121

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3121
发表于 2023-7-7 05:09:04 | 显示全部楼层
不可能不换的,不换会明显跳帧的。画面会闪。只能用mve强行切脸
回复 支持 反对

使用道具 举报

0

主题

9

帖子

420

积分

初级丹师

Rank: 3Rank: 3

积分
420
发表于 2023-7-7 07:52:44 | 显示全部楼层
看来还是要找清晰的源
回复 支持 反对

使用道具 举报

7

主题

871

帖子

5788

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5788

万事如意节日勋章

发表于 2023-7-7 10:04:25 | 显示全部楼层
手动切脸+MVE调整
或者舍弃远景,合成后把没换的部分截取掉.
回复 支持 反对

使用道具 举报

12

主题

113

帖子

1251

积分

初级丹圣

Rank: 8Rank: 8

积分
1251
 楼主| 发表于 2023-7-7 12:06:06 | 显示全部楼层
ronld 发表于 2023-7-7 00:19
这么模糊得场面不换也罢,MVE 去试试吧,论坛里有教程比较详细

谢谢,晚上回去试试。
回复 支持 反对

使用道具 举报

12

主题

113

帖子

1251

积分

初级丹圣

Rank: 8Rank: 8

积分
1251
 楼主| 发表于 2023-7-7 12:09:07 | 显示全部楼层
seancai110 发表于 2023-7-7 00:22
这么糊的直接丢掉吧,训练的src和dst不清晰,会污染模型。

哦,受教。但是,这一段不放弃的话,是不是可以不训练直接换个模糊的,然后保存这一部分模糊的merge图像,然后再把不清楚的都删掉,只训练清除的,最后合成的时候再加进来。
回复 支持 反对

使用道具 举报

12

主题

113

帖子

1251

积分

初级丹圣

Rank: 8Rank: 8

积分
1251
 楼主| 发表于 2023-7-7 12:11:49 | 显示全部楼层
ccctttccct 发表于 2023-7-7 05:09
不可能不换的,不换会明显跳帧的。画面会闪。只能用mve强行切脸

是的。前面不换,后面合成出来痕迹比较明显。晚上回去试试。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 11:31 , Processed in 0.154529 second(s), 40 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表