deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 959|回复: 24

DST图片为唯一人脸,DST图片的问题

[复制链接]

9

主题

82

帖子

620

积分

高级丹师

Rank: 5Rank: 5

积分
620
 楼主| 发表于 2024-3-16 23:39:14 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 飞天猪 于 2024-3-16 23:55 编辑

我有个想法    如果练一个专丹专人  (换脸目标DST始终是一个人物(暗黑玲) SRC刘亦菲的,源脸SRC和目标脸DST,是不是DST我只找(暗黑玲)的人脸各种表情就可以了?
又或者   刘德华SRC    我DST   但是我俩的脸型不同(一个廋一个胖)也是一个问题啊?表情可以做,光影也是一个问题?
我这个思路怎么样?可玩性是不是又多了一些?
求各位大佬   解答一下  谢谢

回复

使用道具 举报

45

主题

500

帖子

3121

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3121
发表于 2024-3-17 08:09:41 | 显示全部楼层
你这是一对一,专丹不是一对多吗?一对一也可以没什么不可以
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4690

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4690

万事如意节日勋章

发表于 2024-3-17 09:20:05 | 显示全部楼层
专丹练成后  没有SRC,只放dst可以直接合成,模型已经有了记忆(如果里面有原来dst没有的角度和光影,需要稍微训练一下)
如果换个人就要重新训练,我特意试了自己的专丹换了src,不训练直接合成,还是原来的src脸

回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27029

万事如意节日勋章

发表于 2024-3-17 11:17:15 | 显示全部楼层
本帖最后由 come3002 于 2024-3-17 11:42 编辑

看你需求
随便玩玩,用到720p 樱花,1080p 质量 中远景。可以小分辨率 高参 模型 ,DST还是推荐放论坛的 坛主等数据集 训练适配高矮胖瘦,各种光影杂图。
小分辨率模型练得快,练废了也不心疼。另外,反正练出用到 720p远古 樱花,1080p低质量樱花。细节也没要求那么高。肉眼看脸型基本就可以。牙齿不行,就补充牙齿镜头。眼神呆板就补充更多镜头。仰角不行就补充仰角。最多练到预览和合成测试下牙齿齿缝就可以了。
得到一套 较好的 SRC和 低分辨率modelA

等有经验了,再考虑换大分辨率模型给4k 资源换脸。
当然有坛友发帖 ,清晰度高了, DST脸型匹配也越重要。小模型下 那点肉眼能接受的脸型小问题,到了4k由于看的清晰,可能就特别影响感官。
就需要精选一些 适合的DST
故推荐海选法
初选阶段:
步骤一:在线播放1部 4k 樱花,按梦版主的 src高清素材 贴 截图。比如得到  9张。


360截图20240317103521226.jpg

假设 100部 不错的 4k 樱花 截图到 900张。


步骤二:零训练之间合成。
步骤三:逐帧对比选出你认为 9个角度都比较满意的 樱花89,樱花99等(假设有10个樱花 优质资源 DST) 。记入本本。

5-6个角度 正脸比较满意的(假设20部备用 备用DST,记录编号 )。


二次选择阶段:
那么入围的(假设10个)樱花二次筛选。可以对 访谈 bed激战,浴室,冰棍等你认为重要的镜头,二次截图。
比如 某三部 bed 激战,于是 冰棍 都很优秀。选出来 比如3部 樱花33 66 99 。记录编号。



4k 樱花高码率 60fps,或4kvr 近景之类。大分辨率模型出的效果非常好。
建议 走 主线、 支线、两条线。
步骤一;推荐先主线练法:
SRC(跟低分辨率模型同一套)。DST还是推荐坛主的数据集放杂图,加上初选优秀的图片 樱花和樱花备选
这样的丹既能有较好泛化能力。又能跟你将要训练优质脸型樱花有早先接触。将来更容易让细节更好。如嘴唇纹理,睫毛。得到modelB(进化丹,备份)。主线优势:泛化能力强。大模型高参,需要时间越越长。


步骤二;主线到一定阶段早走支线

正训一段时间,就可以再 1v多(初选的优质樱花),或1v1。有了之前的信息会很快,尤其是1v1 (假设樱花99 ), 训练速度会非常快。得到model C (如 1v1  ,src vs 樱花99)。支线优势:炼丹,最终是为了效果服务的。因为是精选,可能出效果快。 出的作品脸型 细节等 越快越好。早早得到优质作品。


步骤三;用支线丹基础上,尝试精炼某些细节(尝试实验)比如  改善嘴唇纹理(原来的4道纹理能不能提升到8道),睫毛(能不能优化睫毛)。
反过来提升主线炼丹能力。改善主线炼丹。


步骤四:以得到练习技巧,回馈到 炼制 主线。
。。。。。。。


举例:以model C 尝试改善嘴唇纹理 (并将经验反馈到主线炼制)。

放大450%,原版已经糊了,但是作品能看到 8-9道嘴唇纹理为佳。

360截图20240117021309641.jpg

尝试改善 睫毛(实验阶段)。1v1.相当于 model C



睫毛测试3.jpg
合成作品。脸型发生改变出现古力的脸型特征。细节只看睫毛,已经基本练出来。

睫毛合成.jpg



补充测试; 4k近景 ,利用model C,(实验阶段,无gan,只开 随机扭曲)
零训练直接合成。
效果。脸型出现古力的基本脸型,细节看作品基本能出来4-6根长睫毛
睫毛合成7.2.jpg





回复 支持 反对

使用道具 举报

9

主题

82

帖子

620

积分

高级丹师

Rank: 5Rank: 5

积分
620
 楼主| 发表于 2024-3-17 22:17:59 | 显示全部楼层
pasanonic 发表于 2024-3-17 09:20
专丹练成后  没有SRC,只放dst可以直接合成,模型已经有了记忆(如果里面有原来dst没有的角度和光影,需要稍微 ...

感谢回复
您的意思是   这就是专丹   一SRC  一个人   
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4690

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4690

万事如意节日勋章

发表于 2024-3-17 22:30:08 | 显示全部楼层
飞天猪 发表于 2024-3-17 22:17
感谢回复
您的意思是   这就是专丹   一SRC  一个人

对  这样的丹训练一次,永远收益,毕竟自己收集的角度更丰富

你也可以使用滚石或其他大佬发的万能丹,有质量保障,我试了他最新的刘天仙丹,随便换个src都能直接合成
如果你要求不高,可以直接用,如果比较精细,接着练会
回复 支持 反对

使用道具 举报

9

主题

82

帖子

620

积分

高级丹师

Rank: 5Rank: 5

积分
620
 楼主| 发表于 2024-3-17 22:31:01 | 显示全部楼层
come3002 发表于 2024-3-17 11:17
看你需求
随便玩玩,用到720p 樱花,1080p 质量 中远景。可以小分辨率 高参 模型 ,DST还是推荐放论坛的 坛 ...

感谢回复  可以请教几个问题吗?
1 请问论坛里谁的256底丹比较好?
2 如果想训练256模型,SRC切脸多大尺寸比较好一些(我SRC切脸1024)?SRC和DST切脸尺寸与模型分辨率(256)之间有什么影响?
3 如果训练1VS1(唯一SRC 唯一DST),SRC和DST的脸型不一致对于训练出来的模型影响有多大?
4 DST的光影单一,是否对后续模型使用过程中影响较大?
回复 支持 反对

使用道具 举报

9

主题

82

帖子

620

积分

高级丹师

Rank: 5Rank: 5

积分
620
 楼主| 发表于 2024-3-17 22:36:23 | 显示全部楼层
pasanonic 发表于 2024-3-17 22:30
对  这样的丹训练一次,永远收益,毕竟自己收集的角度更丰富

你也可以使用滚石或其他大佬发的万能丹,有质 ...

感谢回复
现在想找一个256的底丹,坛主滚石发的丹好像都是224的,请问他有发过256的底丹嘛?或者谁的256的底丹比较好啊?
还有一个问题想请教,224-256-288-320这些模型的分辨率大小,滚石的教程说是只是尺寸的大小,我始终没有理解透彻。
如果是尺寸的大小,那换脸后视频的怼脸画面肯定比256大啊。这个分辨率尺寸与换脸后的画面(人物的脸与镜头的远近)有什么影响嘛?
回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27029

万事如意节日勋章

发表于 2024-3-17 22:39:57 | 显示全部楼层
飞天猪 发表于 2024-3-17 22:31
感谢回复  可以请教几个问题吗?
1 请问论坛里谁的256底丹比较好?
2 如果想训练256模型,SRC切脸多大尺 ...

1.五彩192高参,猫丹224,正在输入dfd224,自闭256,坛主的刘亦菲liae等。可以做练手用。
2,3,4  参考 坛友 l刘亦菲转周也步骤。既有他切的周也WF1024,也有什么时候 1vs 各种光影的数据集,还有什么时候1v1.
分享一下炼丹经验

回复 支持 反对

使用道具 举报

40

主题

862

帖子

4690

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4690

万事如意节日勋章

发表于 2024-3-17 22:49:38 | 显示全部楼层
本帖最后由 pasanonic 于 2024-3-17 22:52 编辑
飞天猪 发表于 2024-3-17 22:36
感谢回复
现在想找一个256的底丹,坛主滚石发的丹好像都是224的,请问他有发过256的底丹嘛?或者谁的256 ...

226  256主体上区别不大
简单意义来说,越小,脸部越模糊,越大越清晰
小的可以开超分,或者后期软件转成高清

找好自己的定位,你转视频是看全景,又不是放大只看头,要那么复杂的光影、表情干嘛,不要被绕进去了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-23 00:36 , Processed in 0.138779 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表