合成后出现两排牙齿是怎么回事呢？

zdqssl

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如图所示，合成后上排牙出现两排牙齿。

底丹是猫之汉化的224，随机扭曲+眼嘴30W次，真脸0.001 3W次，gan0.1 7W次。
训练前SRC用镇坛之宝写入遮罩了，合成时也是用的镇坛之宝遮罩。
求大佬解答！

若苗瞬

我纯猜的哈，

LZ用的xseg遮罩，把牙齿也扣除了？
或者只扣除了舌头，但合成位置出现小小的偏差。

如果这时候按几下x换遮罩，应该有变化吧。

215407819@qq.co

好问题ai

zdqssl

若苗瞬 发表于 2023-8-24 15:24
我纯猜的哈，

LZ用的xseg遮罩，把牙齿也扣除了？

用的镇坛之宝遮罩

iyuandou

按 x 用 dst 合成，不使用遮罩，简单粗暴

kenrouhel

遮罩问题，换一个或者自己画几张再练一下

come3002

对楼主的双排牙齿图片感兴趣。做了一组实验。

双排上牙齿 模糊图片测试
图片选择: 以楼主的合成作品为原图。。

第一步：点击并放大楼主的图片。然后截图 878x861
发现非常模糊。

第二步：猫版汉化dfl 切脸 WF768，检查debug 脸部位点，脸部识别成功。
也就是说，虽然牙齿模糊但是 包括口腔，上牙齿在内的人脸信息点是无误的。



第三步：双排上牙齿 模糊 图片，零训练直接合成
（为了看牙齿T60，其他 参数为默认。，也就是说其他 W、E、 等等都没动过）








第四步：多个底丹/专丹 对比。
（为了看牙齿T60，其他 参数为默认。，也就是说其他 W、E、 等等都没动过）

左上为 古力 6.11  
右上为 高质 底丹 87w
左下为 迪丽热巴 坛主224 470w
右下为原版。


左上为 古力 6.11  
右上 论坛下载的 李一桐 320liae 400w专丹
左下为 迪丽热巴 坛主224 470w
右下为原版。

结果：
对于模糊双排牙齿DST，零训练直接合成。几个丹合成都出现了单排上牙齿。非常清晰的上牙齿齿缝。
所有拿来测试的丹。均未出现 楼主的丹这样的双排下牙齿现象。
（注意：但是 部分丹的 右腮处，会出现 影响感观的  黑边异常现象。见最后一张图的李一桐右腮和迪丽热巴右腮）。
结论：几个专丹炼成后。 零训练直接合成，当遇到模糊 双排上牙齿DST，合成后未发现双排下牙齿。
说明当零训练直接合成时， 用的DST更多是提供 换脸的位置信息。
同时 按照 dst的上牙齿的模糊程度，位置，从model中抽取最接近的信息与之相对应。只要model中无 模糊的 双排上牙齿信息，只会抽取 “最模糊”最接近的 上牙齿，完成换脸。


=================
是不是 只有模糊素材，才会下牙齿呢？是不是跟gan有关呢？是不是跟 素材有关？
4k 近景 测试。gan0.1 不同专丹测试。
零训练直接合成，相同W、E、T测试。

左 迪丽热巴GAN 0.1 ；右 论坛下载 gan0.1



4k 近景 相同底丹，不同素材。零训练直接合成，相同W、E、T测试。
底丹：come3.0 320 352 96 72 24
论坛 专丹 素材用的 WF512 gan0.1
古力  WF1024.                   无gan

放大看细节


结果：
同样gan0.1 ，坛主的是无双上牙齿的；论坛下载专丹gan0.1 这一帧有 微弱 双上牙齿。
同一底丹；古力 无明显双上牙齿，论坛下载专丹 有微弱双上牙齿。
结论：双上牙齿是复杂现象。故而利用楼主的模糊的DST，还是4k 樱花载体。经过 在零训练直接合成，不同参数相同gan0.1，相同底丹（不同素材）等做了多轮测试。
并专门翻阅 论坛下载专丹坛友同时发布过一份 WF512 SRC素材，查看了下部分图片能看到上牙齿。但是上牙齿和嘴唇交接处略显模糊。
大概得出一定规律：与炼专丹素材 关系可能比较大。


============================================
dfl换脸的作品，牙齿尤其齿缝效果非常影响感观。应细之又细。
素材越清晰，经过足够训练，双上牙齿等异常现象的可能性越小。
以能看到上下牙齿齿缝，嘴唇纹理为佳。

一点建议：
炼丹初始时，精心准备对素材进行筛选。去掉模糊牙齿（看不到齿缝啊）的图片。争取宁缺毋滥。
从根本上 提高model的质量。
（个人观点，仅供参考）

Mrdeepfake

若苗瞬 发表于 2023-8-24 15:24
我纯猜的哈，

LZ用的xseg遮罩，把牙齿也扣除了？

他根本没仔细读过教程。教程里有对双牙齿这一问题的描述。就是个简单的遮罩问题而已。万能遮罩也不是万能的，并不一定总是合适，尤其这种细微情形。过于依赖万能遮罩、过于死板了。

zdqssl

Mrdeepfake 发表于 2023-8-25 13:42
他根本没仔细读过教程。教程里有对双牙齿这一问题的描述。就是个简单的遮罩问题而已。万能遮罩也不是万能 ...

哪个教程呢

zdqssl

come3002 发表于 2023-8-25 09:59
对楼主的双排牙齿图片感兴趣。做了一组实验。

双排上牙齿 模糊图片测试

猫之汉化的224底丹应该没问题吧 我SRC都是选的高清素材 是不是gan训练的时间不够呢？