deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1563|回复: 40

《科学修仙实验室》————解决方案

[复制链接]

16

主题

132

帖子

2680

积分

初级丹圣

Rank: 8Rank: 8

积分
2680
 楼主| 发表于 2022-1-26 23:02:39 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:2  我的评分:未评
这是楼主总结的解决方案,包含图片的文章在附件内,实在不爱挂图床了。
Src准备:
主要内容分为角度和表情;
角度:
        正面:访谈、剧集等;每秒取3-5帧;
        极限角度:剧集、游戏综艺【跑男、王牌等,这些综艺会有一些游戏,游戏中会有丰富的角度内容】;有针对性的每秒取7-10帧;

当然一些极限的角度会比较难收集,这种可以看看我之前的帖子,可能有一些帮助;
表情:
        静态表情【变动比较小的表情】:访谈、剧集;每秒取3-5帧;
        极限表情【变动比较大的表情,可以理解为五官的极限位置阈值】:游戏综艺、哭戏、激情戏等;有针对性的每秒取7-10帧;

注意:
        理论上src的内容越丰富,训练效果越好,但是太多又会影响训练效率,所以需要对收集的src素材有取舍,建议去掉重复等素材,总体控制在3000-6000;

也可以看看我之前写的帖子,可能会有点帮助,这里说一下,blender 的那个方法我现在已经不用了……
Dst处理
原理
由于dfl的合成是依靠全部帧合成的机制,所以视频切图时会图片数量比较多;
现在正常视频的帧数在24-30之间,特殊的有60帧;
        我们可以技术处理一下:
1.        将24-30帧的视频转码处理为15-18帧;
2.        Dst切图;
3.        训练;
4.        合成;
5.        利用特定软件增加帧数;
这样在有以下的优点:
1.        Dst图片数量少,占空间少;
2.        Dst图片少,切脸快;
3.        效果上,增加帧数的软件是依靠两个相邻帧计算出像素轨迹,利用轨迹来计算并补上帧数,这样只要相邻帧相同,那么效果就没有损失,甚至在某些场景上会比原dst更好。

依靠上边的步骤处理后,25分钟在28000张图片,10分钟的也只在10800,省时省空间,可以实现长片的处理,但是不建议超过30分钟【有些角度的手动切图将会让你怀疑人生】;

Dst处理步骤如下:
1.        剪辑dst,组合自己想要的视频【】
软件:
GiliSoft Video Editor Pro【有破解版】


        优点:功能多、剪辑时可不选择二次编码,更快,bug率低
        缺点:转场效果单一、剪辑时交互比较差;
Pr【有破解版】

        优点:专业、灵活,转场效果特别多;
        缺点:耗时较长;
格式工厂【有破解版】


        优点:功能多,剪辑时交互比较好
        缺点:编码时bug会比较多,音画有时不同步;
2.        降低Dst的帧数;
软件:
Pr:
格式工厂
注意
1、        不建议处理超过40分钟的dst;
2、        清晰度推荐720,这样切图更快、占空间小,且对分辨率小的模型比较友好;

训练:
训练我是分为两个步骤:
1、        轮廓、角度训练;
        我是全程开着dropout,可能效果会有一些影响,可以先关闭,练到一定程度后,自己再开启。
         
对于这两个设置,也可以酌情关闭,我是比较懒。
这一步训练,我推荐训练时间长点,根据感官来吧,别总看收敛数了。
2、        细节、色彩、光影训练;
这里解释一下设置:
        bg_style_power训练,有些脸型是不太匹配的,所以我会依靠合成时的设置蒙版大小等来调整,就开着bg了;
        我是全程开着dropout,可能效果会有一些影响,可以先关闭,练到一定程度后,自己再开启。

训练设置:
1、轮廓角度训练

3、        细节、光影、色彩


合成的内容先空着,我还得总结一下,最近没时间了;



视频增加帧;
利用软件:
Svp:收费软件,最高可以补帧到240hz,推荐30-60就可以了;支持转码和实时观看



Pr:利用光流法、ff等方式插帧,但是时间会比较慢,对初学者稍微有点难度;网上教程很多,这里就不说了。


好了,还有一些遗漏的,我会找时间补上了;

结束,免费;


解决方案.pdf

532.37 KB, 下载次数: 57

评分

参与人数 2贡献 +2 收起 理由
奇迹本身 + 1 赞一个!
TokaMark + 1 赞一个!

查看全部评分

回复

使用道具 举报

0

主题

186

帖子

1919

积分

初级丹圣

Rank: 8Rank: 8

积分
1919
发表于 2022-1-26 23:26:00 | 显示全部楼层
感谢分享
回复

使用道具 举报

1

主题

30

帖子

188

积分

高级丹童

Rank: 2

积分
188
发表于 2022-1-26 23:49:18 | 显示全部楼层
谢谢DALAO 大佬牛逼
回复 支持 反对

使用道具 举报

2

主题

142

帖子

2517

积分

初级丹圣

Rank: 8Rank: 8

积分
2517
发表于 2022-1-27 00:28:10 | 显示全部楼层
感谢分享!
回复

使用道具 举报

12

主题

1250

帖子

7126

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7126

万事如意节日勋章

发表于 2022-1-27 00:30:04 | 显示全部楼层

感谢分享!
回复

使用道具 举报

15

主题

585

帖子

4451

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4451

万事如意节日勋章

发表于 2022-1-27 01:16:39 | 显示全部楼层
学习一下
回复

使用道具 举报

1

主题

110

帖子

1310

积分

初级丹圣

Rank: 8Rank: 8

积分
1310
发表于 2022-1-27 01:42:07 | 显示全部楼层

感谢分享
感谢分享
回复 支持 反对

使用道具 举报

1

主题

255

帖子

3798

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3798
发表于 2022-1-27 02:20:28 | 显示全部楼层
谢谢分享,我去试试。
回复 支持 反对

使用道具 举报

17

主题

519

帖子

4178

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4178
发表于 2022-1-27 02:47:16 | 显示全部楼层
感谢分享,又学到一些
回复 支持 反对

使用道具 举报

8

主题

342

帖子

3112

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3112
发表于 2022-1-27 05:56:50 | 显示全部楼层
学到了,这是专家玩法
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-21 01:50 , Processed in 0.106819 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表