deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2065|回复: 23

眼皮起了褶皱,有办法补救吗

[复制链接]

38

主题

731

帖子

5142

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5142

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2023-9-29 15:26:34 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 WaveBedo 于 2023-9-29 15:30 编辑

QQ截图20230929151145.png QQ截图20230929151105.png QQ截图20230929150954.png
眼皮起了褶皱,是什么原因导致的,有办法补救吗?
在别人的底丹上跑了15万,目前在第七阶段



lmf-come3.0_SAEHD_summary.txt
=============== Model Summary ================
==                                          ==
==            Model name: lmf-come3.0_SAEHD ==
==                                          ==
==     Current iteration: 1024713           ==
==                                          ==
==------------- Model Options --------------==
==                                          ==
==            resolution: 320               ==
==             face_type: wf                ==
==     models_opt_on_gpu: True              ==
==                 archi: df-ud             ==
==               ae_dims: 352               ==
==                e_dims: 96                ==
==                d_dims: 72                ==
==           d_mask_dims: 24                ==
==       masked_training: True              ==
==       eyes_mouth_prio: False             ==
==           uniform_yaw: True              ==
==         blur_out_mask: False             ==
==             adabelief: True              ==
==            lr_dropout: n                 ==
==           random_warp: False             ==
==      random_hsv_power: 0.0               ==
==       true_face_power: 0.0               ==
==      face_style_power: 0.01              ==
==        bg_style_power: 0.0               ==
==               ct_mode: none              ==
==              clipgrad: True              ==
==              pretrain: False             ==
==       autobackup_hour: 1                 ==
== write_preview_history: False             ==
==           target_iter: 0                 ==
==       random_src_flip: False             ==
==       random_dst_flip: True              ==
==            batch_size: 10                ==
==             gan_power: 0.0               ==
==        gan_patch_size: 36                ==
==              gan_dims: 16                ==
==                                          ==
==--------------- Running On ---------------==
==                                          ==
==          Device index: 0                 ==
==                  Name: Tesla T4          ==
==                  VRAM: 13.37GB           ==
==                                          ==
==============================================

回复

使用道具 举报

1

主题

165

帖子

2346

积分

初级丹圣

Rank: 8Rank: 8

积分
2346
发表于 2023-9-29 21:16:06 | 显示全部楼层
关闭 face_style_power
回复 支持 1 反对 0

使用道具 举报

15

主题

1936

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
26150

万事如意节日勋章

发表于 2023-9-29 20:54:48 | 显示全部楼层
本帖最后由 come3002 于 2023-9-29 21:08 编辑
WaveBedo 发表于 2023-9-29 20:49
好的。用于训练专丹的dst多人切脸集,应该很难做得到肤色接近吧。我看人家的黑人都有的,而且似乎效果也 ...

妆容一致是说的src。将来换脸效果 脸部人脸信息很多取决于src。

dst是跟你将来实际情景载体一致(比如src肤色偏黑,又喜欢 光亮下黑人做载体,就要多加黑人;比如src肤色偏黄,喜欢灰暗bed的黄皮肤樱花,就多加 灰暗be樱花,比如src是偏白的,就多找偏白的 添加到dst中训练。近乎脸型,肤色,光影等接近的一对一的辅导训练,可以加快训练速度,利于尽快检测早发现问题) 。
假如你练丹技术上来了,自然所有的都加。

回复 支持 1 反对 0

使用道具 举报

15

主题

1936

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
26150

万事如意节日勋章

发表于 2023-9-29 20:41:07 | 显示全部楼层
本帖最后由 come3002 于 2023-9-29 20:49 编辑
WaveBedo 发表于 2023-9-29 19:00
我原本也不打算开的,但脸色看起来很脏,有灰色、有白色
开rct会减轻一点,但嘴唇、脸蛋会过于鲜艳,不 ...

如果是训练脸色 有灰色,有白色。可能是你采用的src不是一套妆容切割而来
比如src一半是浓妆,一半是淡妆。
Dst一会是明亮,一会是灰暗bed,故dfl 不知道跟谁学习。结果就是一张脸有红有白。

解决方案是精选一套妆容做主体包出来(精选,宁缺毋滥),其他妆容做补角度(少量,目的是降低比例)。
先按照 默认参数bs4对联,比如13w 达到100w loss降低到 0.1000
对目标dst零训练直接合成。
如果灰色bed颜色不对。你就要找灰暗 光线 src(或用软件处理 出 灰暗光线src)
找到灰色光线src补上跑一段再测试。
等所有光线问题解决。说明你的src妆容光线就凑好了。
同样,如果发现下牙齿没出来,说明你的src下牙齿需要找素材。
找到下牙齿齿缝素材补上,跑一段时间试试。
再看看嘴唇纹理。。。其他以此类推。


用凑齐的妆容好,光线充足的src,后用你的参数 走7阶段。
再合成一次。看有没有进步。

总之,这个底单  优先推荐先用默认参数跑,多测试能早发现问题,可有助于反复打磨。
一旦用7阶段法,跑到了7阶段才合成测试,(很难判断是素材光影不够,还是哪一步或哪几步参数问题)
问题发现越晚,越难解决。到时候鸡肋就麻烦了

回复 支持 1 反对 0

使用道具 举报

5

主题

241

帖子

5425

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5425

万事如意节日勋章

QQ
发表于 2023-9-29 15:58:59 | 显示全部楼层
有可能是原丹 GAN 残留。开随机扭曲重新跑吧,直到状况改善之后,再精细跑。另外建议把 face_style_power 关闭,这个是学 dst 人脸风格的,会降低与 src 相似性,还会使模型更容易奔溃;另外建议把 BS 改为8,不要用10.

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1

查看全部评分

回复 支持 反对

使用道具 举报

15

主题

1936

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
26150

万事如意节日勋章

发表于 2023-9-29 16:29:29 | 显示全部楼层
本帖最后由 come3002 于 2023-9-29 16:49 编辑

1. 320 dfud 354 底单87w
没有开过gan. 楼主也没开gan
Gan没开,故 跟 gan无关。
2.  底单要保持默认参数 wf1024 高清素材做src做对联 训练
不清楚楼主用了什么src和dst。
底单国内女性用的wf1024训练,没用过一张国内女性模糊图片,目的是将来换脸4k
假如遇到模糊素材,覆写之前清晰素材,几乎等于从新训练,失去底单效果
可能是src眼皮 模糊,也可能是dst眼皮模糊,底单信息是清晰眼皮无法适应,故引起了眼皮异常
回复 支持 反对

使用道具 举报

38

主题

731

帖子

5142

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5142

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2023-9-29 18:20:22 | 显示全部楼层
Mrdeepfake 发表于 2023-9-29 15:58
有可能是原丹 GAN 残留。开随机扭曲重新跑吧,直到状况改善之后,再精细跑。另外建议把 face_style_power  ...

关闭 face_style_power之后,打开 true_face跑了一会恢复了。怀疑是 face_style_power开大了
回复 支持 反对

使用道具 举报

38

主题

731

帖子

5142

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5142

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2023-9-29 18:28:08 | 显示全部楼层
come3002 发表于 2023-9-29 16:29
1. 320 dfud 354 底单87w
没有开过gan. 楼主也没开gan
Gan没开,故 跟 gan无关。

恢复了。怀疑是 face_style_power开大了
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5425

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5425

万事如意节日勋章

QQ
发表于 2023-9-29 18:33:02 | 显示全部楼层

回帖奖励 +2 灵石

本帖最后由 Mrdeepfake 于 2023-9-29 18:34 编辑
WaveBedo 发表于 2023-9-29 18:20
关闭 face_style_power之后,打开 true_face跑了一会恢复了。怀疑是 face_style_power开大了 ...

face_style_power 这个选项一般是不开的。如果原丹及后续你没有进行 GAN 训练,那么你的问题很可能就是开启它导致的,谁知道它会学 dst 什么风格!而且若由于开启它而使模型处在奔溃边缘,什么异常都可能出现。
回复 支持 反对

使用道具 举报

15

主题

1936

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
26150

万事如意节日勋章

发表于 2023-9-29 18:33:44 | 显示全部楼层

回帖奖励 +2 灵石

本帖最后由 come3002 于 2023-9-29 18:48 编辑
WaveBedo 发表于 2023-9-29 18:28
恢复了。怀疑是 face_style_power开大了

关闭了 face style power,开true face 真脸后 恢复过来
这也说明,底单和兄弟你的src质量都没问题。
应该是你用的是dst中有眼皮模糊图片。
---------------
炼制底单,专丹dst也很重要,因为练丹有遇强则强遇弱则弱现象。
理想状态,src是精选wf1024,dst也应该是同等质量精选wf1024清晰能看清嘴唇纹理 等高清素材,要比dst带模糊不清图片的练的快,丹的质量高。
故实际做法,如果是用樱花做dst练丹。应择优练丹
具体做法
1.1080p 樱花做dst训练, 同样切512,能用近景(人头像一波屏幕一半以上。并筛选精选好的图片)做dst训练不用远景训练(人头像占屏幕很小甚至看不清五官,造成模糊图片比例升高)。
2若用4k樱花,能用中景1024(樱花1024能看清嘴唇纹理,下牙齿齿缝等细节)不用远景512训练。



回复 支持 反对

使用道具 举报

38

主题

731

帖子

5142

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5142

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2023-9-29 19:00:37 | 显示全部楼层
Mrdeepfake 发表于 2023-9-29 18:33
face_style_power 这个选项一般是不开的。如果原丹及后续你没有进行 GAN 训练,那么你的问题很可能就是开 ...


我原本也不打算开的,但脸色看起来很脏,有灰色、有白色
开rct会减轻一点,但嘴唇、脸蛋会过于鲜艳,不开的话,就很严重
所以为了接近dst肤色,才打开face_style_power。脸上的灰色,应该是部分素材,阴影较重造成的
QQ截图20230929184610.png QQ截图20230929185134.png
回复 支持 反对

使用道具 举报

38

主题

731

帖子

5142

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5142

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2023-9-29 19:05:13 | 显示全部楼层
come3002 发表于 2023-9-29 18:33
关闭了 face style power,开true face 真脸后 恢复过来
这也说明,底单和兄弟你的src质量都没问题。
应该 ...

好的
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5425

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5425

万事如意节日勋章

QQ
发表于 2023-9-29 19:38:26 | 显示全部楼层
WaveBedo 发表于 2023-9-29 19:00
我原本也不打算开的,但脸色看起来很脏,有灰色、有白色
开rct会减轻一点,但嘴唇、脸蛋会过于鲜艳,不 ...

你 src 肤色太杂乱了,对于特别异常的 src 肤色,可能需要你借助第三方软件编辑肤色;另外,挑选 src 素材时要避免那种单色光照明的素材(懂一点物理知识的人,应该懂得什么是单色光,若不懂可以搜百度去);选 dst 素材时也最好选与 src 肤色接近的素材,或者先用第三方视频编辑软件调一下 dst 肤色。这样对减弱肤色闪烁与脸部异常色块会有帮助。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1

查看全部评分

回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-24 04:27 , Processed in 0.143599 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表