deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 4296|回复: 21

(新人少走弯路)vr换脸全部流程经验分享

[复制链接]

23

主题

268

帖子

1521

积分

初级丹圣

Rank: 8Rank: 8

积分
1521
 楼主| 发表于 2022-10-13 06:03:33 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 cjlzkl 于 2022-10-13 07:47 编辑

论坛里vr贴挺少,分享下个人vr换脸总结的经验教训,大佬自行取舍,小白可以完全照着我的来,绝对不会翻车和保证最佳的效率节省大把时间。
(本人设备  cpu r7 2700    gpu  1080ti )


vr和普通视频换脸的区别其实就是1,vr视频尺寸特别大,不控制无脑切就是坐牢    2 画面扭曲 3。dst角度多,src角度要求也高。 解决这三个问题基本就搞定vr了



第一步,切dst素材。
素材库肯定是越多越好,我直接找了几十部vr来切。这边就遇到了第一个问题,切的巨慢
我用的是论坛的切脸神器,平时视频一秒20张脸。而用这个切4k尺寸的vr,1900帧需要大约1个小时半。如果无脑切也行,一两天能切完。但是没必要这么做。

可以下个pr,首先把选出来的所有vr拖进去,然后裁切画面,原来4096  2048的尺寸,只需要切中间3548 1500 的画面就行(超过这个范围的脸都是极度扭曲,没用,所以不需要。这样裁切可以让切脸的时候剔除掉这些过于扭曲的人脸,同时像素点只有原来的63%,大幅提升效率。  )然后将这个几十个vr的速度改1000%(自定),视频输出的帧率改成10帧。导出。

整个导出时间大概耗时2个小时,用导出的视频切dst脸,速度变成10张+每秒左右,大概一个半小时能切完,7w张    效率比直接切高7-8倍






第二步,切src。补角度
切src没啥好说的,这里说下补角度。之前用了论坛大佬的方法,一圈一圈往外推,效果并不理想,效率也很慢。个人理解这种方式不适合补大角度,特别是你边缘角度的素材本来的就少的情况下,很难把角度往外推,想要推出去,必须先巩固下自己已有角度的素材量,量变才能的引发质变。 我的方法直接对着全角度的切vr的dst练角度,练出来的不管角度有没有重复,都放进src,然后继续补一轮。基本补个两回角度就差不多齐了。

(实测,vr扭曲的角度练出来的src不会干扰src的质量。我用全部是vr合出来src练个模型,效果是差不多的。电脑看得懂vr素材它比我想象的还聪明)






第三步:模型选择
此处内容放度盘了



第四步,正式训练 没啥好说的



第五步  切dst视频

有4种方式
1直接切                          你牛,你了不起
2左右分开切 然后合并 。     我最开始用这种,切的时候记得小技巧,pr里截取中间部分就行,(之后无缝贴合在原视频中间区域)1550*1500,只有原来的50%像素。加快切脸同时剔除过分扭曲的脸。  顺便pr里还能把一些不感兴趣的片段扔掉,人海画面扔掉等。导出的时候,原视频是高帧率的,这里你可以选择是否要导出30帧视频。我个人感觉其实也差不多,30帧够用,省下来的30帧你多切个1倍时间的视频进去不是更香。

关于多脸,建议切视频的时候直接剔除,或者切脸的时候设置好最小切脸分辨率来剔除。直接无脑切,然后用人脸识别排序的话,需要4个小时。

这个方法比第一个要效率,但是分两个视频,我第一次切的视频帧是png,直接300g大小,两个就是600g,到时候合成还要600g……好家伙
这里就有了节省空间技巧, 首先视频帧选可以jpg这个,然后就是合成的时候默认的合成出来的是png,也可以通过修改改成jpg(方法论坛自搜)

剩下的我也放度盘了,觉得多少有帮助的话就打赏下呗







评分

参与人数 1贡献 +1 收起 理由
mlgbsaa@gmail.c + 1 赞一个!

查看全部评分

回复

使用道具 举报

23

主题

268

帖子

1521

积分

初级丹圣

Rank: 8Rank: 8

积分
1521
 楼主| 发表于 2023-2-11 16:54:49 | 显示全部楼层
唐门2022 发表于 2023-2-11 15:17
VR太耗费精力和时间了,难度太大了,VR  DST没切脸素材我倒是有很多~~20必须用生图4K搞了,需要WF1024资源 ...


288就够用了。难度其实跟正常换脸没啥区别,都快换满4t了
回复 支持 1 反对 0

使用道具 举报

33

主题

1081

帖子

7247

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7247
发表于 2022-10-13 07:30:25 | 显示全部楼层
感谢分享,那个pr是什么,因为分辨率高,平时切的确实太慢了
回复 支持 反对

使用道具 举报

23

主题

268

帖子

1521

积分

初级丹圣

Rank: 8Rank: 8

积分
1521
 楼主| 发表于 2022-10-13 07:36:43 | 显示全部楼层
haiou_f 发表于 2022-10-13 07:30
感谢分享,那个pr是什么,因为分辨率高,平时切的确实太慢了

视频剪辑的软件
回复 支持 反对

使用道具 举报

10

主题

301

帖子

2060

积分

初级丹圣

Rank: 8Rank: 8

积分
2060

万事如意节日勋章

发表于 2022-10-13 07:54:24 | 显示全部楼层
haiou_f 发表于 2022-10-13 07:30
感谢分享,那个pr是什么,因为分辨率高,平时切的确实太慢了

Adobe Premiere Pro
回复 支持 反对

使用道具 举报

1

主题

27

帖子

143

积分

高级丹童

Rank: 2

积分
143
发表于 2022-10-13 10:22:20 | 显示全部楼层
扭曲的vr你给它扭回来当个正常视频切换然后合成再给它扭回去就行,都不用练专门的vr丹了
回复 支持 反对

使用道具 举报

23

主题

268

帖子

1521

积分

初级丹圣

Rank: 8Rank: 8

积分
1521
 楼主| 发表于 2022-10-13 10:35:26 | 显示全部楼层
zzs181 发表于 2022-10-13 10:22
扭曲的vr你给它扭回来当个正常视频切换然后合成再给它扭回去就行,都不用练专门的vr丹了 ...

主要不会扭,这就属于高端操作了。我习惯多个视频拼一个剪,每个视频的扭曲程度因为设备不同幅度也不一样
回复 支持 反对

使用道具 举报

0

主题

5

帖子

83

积分

高级丹童

Rank: 2

积分
83
发表于 2022-10-13 20:19:30 | 显示全部楼层
非常非常感谢
回复 支持 反对

使用道具 举报

0

主题

8

帖子

632

积分

高级丹师

Rank: 5Rank: 5

积分
632
发表于 2022-11-24 13:17:42 | 显示全部楼层
直接切,直接换,很好
回复 支持 反对

使用道具 举报

46

主题

71

帖子

6698

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6698
发表于 2022-11-24 13:43:41 | 显示全部楼层
我把视频截取了一段,然后合成好之后在pc上看还挺清晰的,但是放到vr设备里就特别糊不知道为什么lz知道吗
回复 支持 反对

使用道具 举报

23

主题

268

帖子

1521

积分

初级丹圣

Rank: 8Rank: 8

积分
1521
 楼主| 发表于 2022-11-24 18:53:55 | 显示全部楼层
zoneygr 发表于 2022-11-24 13:43
我把视频截取了一段,然后合成好之后在pc上看还挺清晰的,但是放到vr设备里就特别糊不知道为什么lz知道吗 ...

片源没个4k,码率16000以上都会糊
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-22 17:37 , Processed in 0.120176 second(s), 15 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表