如何消除嘴巴的虚影？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

开眼嘴的时候，嘴巴虚影可以最少
开遮罩边沿模糊的时候，嘴巴虚影可以最少
但问题是，嘴巴的虚影不是稳定减少的，它跑着跑着，又会可能增多的
已经跑到基本定型了，其他东西都已经不怎么动了，但这个嘴巴的虚影却是可能会增加的
已经开了眼嘴、遮罩边沿模糊、学习率、gan，bs12，Loss来到0.12/0.13

我的问题就是，嘴巴虚影最少得时候，整体清晰度还不够，
继续跑，清晰度增加了，但嘴巴的虚影却又增加了
要继续跑的话，结果gan又过头了，出现无法消除的噪点，又只能从头来过，
做不到同时，嘴巴虚影最少得时候，gan的清晰度最高

有经验的朋友，分享一下解决办法啊，
我实在没招了，跑几天都没有用

dfl9999

WaveBedo 发表于 2024-10-23 18:34
搞清楚了，是遮罩的问题，我使用的遮罩不能稳定扣掉挡着口腔的东西，
有时候可以扣掉，有时候又不能扣掉 ...

所以我为啥要画上万张口腔遮罩轨迹图来训练万能遮罩？就是这个原因，几百张没用，几千张也会遗漏，过万了才勉强够用，让遮罩模型能完美区分牙齿、嘴唇、舌头、口腔阴影，可以让模型跳过训练全图的环节，不过我以后可能会训练模型自己去画舌头和口腔

wtxx8888

合成了这么久，还不清楚，合成的定律？
上层（SRC）比下层（DST）小，边界就会虚影或套娃。这是合成的定律。

DFL不能手动变形，所以这是无解的。
指望上帝抛骰子般的，随机扭曲？ 局面就是，你现在的样子，你控制不了走向。
穷举法试？这得赔上多少时间。。。也不累得慌
PS能随心所欲，是因为有自定的放大缩小，及自定的变形滤镜。

WaveBedo

wtxx8888 发表于 2024-10-22 00:23
合成了这么久，还不清楚，合成的定律？
上层（SRC）比下层（DST）小，边界就会虚影或套娃。这是合成的定律 ...

训练的时候，应该也生成一个根据dst来调整的遮罩吧，
这个遮罩难道不能起作用吗？
口腔里的东西，不是应该扣掉吗？

我看嘴巴的虚影偶尔可以减少，偶尔又会增加，似乎就是这个东西在起作用吧
只是它看起来不能做到将口腔内的虚影稳定减少


另外，
我合成使用的遮罩，是会扣掉口腔内的东西的，
为什么遇到这种情况，有时候会扣一点，有时候又不怎么扣

dfl9999

WaveBedo 发表于 2024-10-22 01:28
训练的时候，应该也生成一个根据dst来调整的遮罩吧，
这个遮罩难道不能起作用吗？
口腔里的东西，不是应该 ...

万能遮罩不能抠掉口腔虚影，需要自己去画，自己去定义颜色边界和排除区域，然后再用画的来训练遮罩模型，不画的话模人脸型默认是练这部分区域的

1245252900

参考_无敌小金鱼_【高端操作】金鱼AE高级合成教程

WaveBedo

dfl9999 发表于 2024-10-22 05:19
万能遮罩不能抠掉口腔虚影，需要自己去画，自己去定义颜色边界和排除区域，然后再用画的来训练遮罩模型， ...

我测试了6个遮罩，有的可以把嘴巴里的虚影扣干净，但有些画面却有dst的牙齿残留；
我的结论是，没有遮罩是全能的，它这方面效果好，另外的方面可能就有问题的

你自己画的话，除非你严格分好类，专门针对某些场景，否则，我觉得数据会打架，
就像我上面的结论，这边效果好了，但那边却出问题了

WaveBedo

wtxx8888 发表于 2024-10-22 00:23
合成了这么久，还不清楚，合成的定律？
上层（SRC）比下层（DST）小，边界就会虚影或套娃。这是合成的定律 ...

搞清楚了，是遮罩的问题，我使用的遮罩不能稳定扣掉挡着口腔的东西，
有时候可以扣掉，有时候又不能扣掉，
换了一个遮罩，可以扣掉挡着口腔的东西，但其他画面却又可能会有dst牙齿的残留，
所以，只能这样了

wtxx8888

WaveBedo 发表于 2024-10-23 18:34
搞清楚了，是遮罩的问题，我使用的遮罩不能稳定扣掉挡着口腔的东西，
有时候可以扣掉，有时候又不能扣掉 ...

说了，别指望随机扭曲，不可控，就意味着无解，
你当是PS呢？可以随便控制，怎么变形？
指望随机撞到位？那得是上帝之子

dfl9999

WaveBedo 发表于 2024-10-23 18:34
搞清楚了，是遮罩的问题，我使用的遮罩不能稳定扣掉挡着口腔的东西，
有时候可以扣掉，有时候又不能扣掉 ...

你可以试下我发的那个万能底丹，直接用你的素材训练，直接训练啥参数都不改，看清晰之后嘴巴有没有虚影