deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1834|回复: 19

合成后出现两排牙齿是怎么回事呢?

[复制链接]

13

主题

75

帖子

1364

积分

初级丹圣

Rank: 8Rank: 8

积分
1364
 楼主| 发表于 2023-8-24 15:01:12 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 zdqssl 于 2023-8-24 17:39 编辑

如图所示,合成后上排牙出现两排牙齿。

底丹是猫之汉化的224,随机扭曲+眼嘴30W次,真脸0.001 3W次,gan0.1 7W次。
训练前SRC用镇坛之宝写入遮罩了,合成时也是用的镇坛之宝遮罩。
求大佬解答! 222.png

回复

使用道具 举报

13

主题

527

帖子

3792

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3792
发表于 2023-8-24 15:24:37 | 显示全部楼层
我纯猜的哈,

LZ用的xseg遮罩,把牙齿也扣除了?
或者只扣除了舌头,但合成位置出现小小的偏差。

如果这时候按几下x换遮罩,应该有变化吧。
回复 支持 1 反对 0

使用道具 举报

43

主题

238

帖子

4701

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4701
发表于 2023-8-24 16:32:21 | 显示全部楼层
好问题ai
回复

使用道具 举报

13

主题

75

帖子

1364

积分

初级丹圣

Rank: 8Rank: 8

积分
1364
 楼主| 发表于 2023-8-24 17:38:02 | 显示全部楼层
若苗瞬 发表于 2023-8-24 15:24
我纯猜的哈,

LZ用的xseg遮罩,把牙齿也扣除了?

用的镇坛之宝遮罩
回复 支持 反对

使用道具 举报

17

主题

144

帖子

2371

积分

初级丹圣

Rank: 8Rank: 8

积分
2371
发表于 2023-8-25 00:20:31 | 显示全部楼层
按 x 用 dst 合成,不使用遮罩,简单粗暴
回复 支持 反对

使用道具 举报

7

主题

388

帖子

3817

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3817
发表于 2023-8-25 08:40:49 | 显示全部楼层
遮罩问题,换一个或者自己画几张再练一下
回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-8-25 09:59:32 | 显示全部楼层
本帖最后由 come3002 于 2023-8-25 14:41 编辑

对楼主的双排牙齿图片感兴趣。做了一组实验。

双排上牙齿 模糊图片测试
图片选择: 以楼主的合成作品为原图。。

第一步:点击并放大楼主的图片。然后截图 878x861
发现非常模糊。
00001.jpg
第二步:猫版汉化dfl 切脸 WF768,检查debug 脸部位点,脸部识别成功。
也就是说,虽然牙齿模糊但是 包括口腔,上牙齿在内的人脸信息点是无误的。
位置信息点.jpg


第三步:双排上牙齿 模糊 图片,零训练直接合成
(为了看牙齿
T60,其他 参数为默认。,也就是说其他 W、E、 等等都没动过)
6.11 高质.jpg

6.11 高质参数.jpg



古力 6.11 双排牙齿测试 T60.jpg

第四步:多个底丹/专丹 对比。
(为了看牙齿T60,其他 参数为默认。,也就是说其他 W、E、 等等都没动过)

左上为 古力 6.11  
右上为 高质 底丹 87w
左下为 迪丽热巴 坛主224 470w
右下为原版。


古力 高质 坛主 原版.jpg
左上为 古力 6.11  
右上 论坛下载的 李一桐 320liae 400w专丹
左下为 迪丽热巴 坛主224 470w
右下为原版。

360截图20230825092144928.jpg
结果:
对于模糊双排牙齿DST,零训练直接合成。几个丹合成都出现了单排上牙齿。非常清晰的上牙齿齿缝。
所有拿来测试的丹。均未出现 楼主的丹这样的双排下牙齿现象。
(注意:但是 部分丹的 右腮处,会出现 影响感观的  黑边异常现象。见最后一张图的李一桐右腮和迪丽热巴右腮)
结论:几个专丹炼成后。 零训练直接合成,
当遇到模糊 双排上牙齿DST,合成后未发现双排下牙齿。
说明当零训练直接合成时, 用的DST更多是提供 换脸的位置信息。
同时 按照 dst的上牙齿的模糊程度,位置,从model中抽取最接近的信息与之相对应。只要model中无 模糊的 双排上牙齿信息,只会抽取 “最模糊”最接近的 上牙齿,完成换脸。


=================
是不是 只有模糊素材,才会下牙齿呢?是不是跟gan有关呢?是不是跟 素材有关?
4k 近景 测试。gan0.1 不同专丹测试。
零训练直接合成,相同W、E、T测试。

左 迪丽热巴GAN 0.1 ;右 论坛下载 gan0.1
周也 坛主.jpg


4k 近景 相同底丹,不同素材。零训练直接合成,相同W、E、T测试。
底丹:come3.0 320 352 96 72 24
论坛 专丹 素材用的 WF512 gan0.1
古力  WF1024.                   无gan
古力 周也 双牙齿.jpg
放大看细节
双下牙齿.jpg

结果:
同样gan0.1 ,坛主的是无双上牙齿的;论坛下载专丹gan0.1 这一帧有 微弱 双上牙齿。
同一底丹;古力 无明显双上牙齿,论坛下载专丹 有微弱双上牙齿。
结论:双上牙齿是复杂现象。故而利用楼主的模糊的DST,还是4k 樱花载体。经过 在零训练直接合成,不同参数相同gan0.1,相同底丹(不同素材)等做了多轮测试。
并专门翻阅 论坛下载专丹坛友同时发布过一份 WF512 SRC素材,查看了下部分图片能看到上牙齿。但是上牙齿和嘴唇交接处略显模糊。
大概得出一定规律:与炼专丹素材 关系可能比较大。

360截图20230825142608548.jpg
============================================
dfl换脸的作品,牙齿尤其齿缝效果非常影响感观。应细之又细。
素材越清晰,经过足够训练,双上牙齿等异常现象的可能性越小。
以能看到上下牙齿齿缝,嘴唇纹理为佳。

V_000679_0.jpg
一点建议:
炼丹初始时,精心准备对素材进行筛选。去掉模糊牙齿(看不到齿缝啊)的图片。争取宁缺毋滥。
从根本上 提高model的质量。
(个人观点,仅供参考)










回复 支持 反对

使用道具 举报

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-8-25 13:42:28 | 显示全部楼层
若苗瞬 发表于 2023-8-24 15:24
我纯猜的哈,

LZ用的xseg遮罩,把牙齿也扣除了?

他根本没仔细读过教程。教程里有对双牙齿这一问题的描述。就是个简单的遮罩问题而已。万能遮罩也不是万能的,并不一定总是合适,尤其这种细微情形。过于依赖万能遮罩、过于死板了。
回复 支持 反对

使用道具 举报

13

主题

75

帖子

1364

积分

初级丹圣

Rank: 8Rank: 8

积分
1364
 楼主| 发表于 2023-8-25 20:21:57 | 显示全部楼层
Mrdeepfake 发表于 2023-8-25 13:42
他根本没仔细读过教程。教程里有对双牙齿这一问题的描述。就是个简单的遮罩问题而已。万能遮罩也不是万能 ...

哪个教程呢
回复 支持 反对

使用道具 举报

13

主题

75

帖子

1364

积分

初级丹圣

Rank: 8Rank: 8

积分
1364
 楼主| 发表于 2023-8-25 20:27:58 | 显示全部楼层
come3002 发表于 2023-8-25 09:59
对楼主的双排牙齿图片感兴趣。做了一组实验。

双排上牙齿 模糊图片测试

猫之汉化的224底丹应该没问题吧 我SRC都是选的高清素材 是不是gan训练的时间不够呢?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 06:21 , Processed in 0.145693 second(s), 41 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表