合成效果与训练预览效果不同

zongxp

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

各位大佬，小白请教：
如题所示，在训练阶段，大概四十多万步之后，预览效果非常好，包括最后一列也很自然。

但为什么在合成阶段，达不到同样的效果呢？还需要手动调整参数，都不一定能调好。
所以，预览的效果图是怎么得到的？能用其参数做合成吗？

seancai110

你model文件夹下有遮罩模型吗？你遮罩模式选的是什么？你训练的时候设置的颜色模式是什么？
合成界面羽化和侵蚀会设置吗？

come3002

楼主来张 预训练的 截图，合成的截图看看。



我一般专丹没出齿缝就在1、5、 10、20、30w。。。以此类推就先做俩一个1080p，一个4k测试，不过关继续炼。

最近刚从论坛下载WF1024素材，去模糊 删重，对炼的专丹。
1080p 中景测试 WF768. 零训练 直接合成
开 W10-30、E100-300和T 30-60 （右边是 384的一个专丹 合成设置参数与左边相同）
80%以上的图片满意才可以。
比如这个 从83w开始炼了 几万迭代。能隐约看到 上牙齿齿缝。就可以凑合用了



4K 近景测试 WF1536.零训练 直接合成
开 W10-30、E100-300和T 30-60（右边是 448dfud512 88 88 28的一个专丹 合成设置参数与左边相同）
同样，也要80%比较合适。

zongxp

seancai110 发表于 2023-5-29 23:12
你model文件夹下有遮罩模型吗？你遮罩模式选的是什么？你训练的时候设置的颜色模式是什么？
合成界面羽化和 ...

如图所示为训练预览图与合成效果图，没有单独训练遮罩模型，合成阶段主要调节了羽化和缩放，已经不能继续缩放了，可以看到右侧眼镜开始有痕迹了，同时，左侧脸部还是有拼接痕迹。

感觉预览图中的效果很好，是不是理论上在合成阶段调参可以调到预览效果？我还有哪些参数可调，或者说是不是要训练遮罩模型？谢谢了。

zongxp

come3002 发表于 2023-5-29 23:34
楼主来张 预训练的 截图，合成的截图看看。

请看上边上传的预览图效果

seancai110

zongxp 发表于 2023-5-30 09:29
如图所示为训练预览图与合成效果图，没有单独训练遮罩模型，合成阶段主要调节了羽化和缩放，已经不能继续 ...

你遮罩模式选错了。按X切换mask mode，还是遮罩的问题。我不知道你有没有Xseg，不太确定你这个眼镜超出脸部的地方怎么处理。
预览效果不错，那是因为背景也被处理了啊。合成的时候要用遮罩把dst抠出来，所以你这个眼镜的遮罩处理就要研究一下了。X切换之后，可以在merged mask文件夹里面看到更新的遮罩。

come3002

zongxp 发表于 2023-5-30 09:30
请看上边上传的预览图效果

两点建议
1、合并时候，按键盘的T键，30-60下。
2、眼镜属于遮挡物。会影响合成效果。用遮罩会好很多。
作为新手，可以重新找素材。
找没有眼镜的 SRC素材，WF768、1024. 质量选100%，然后重新炼。

zongxp

come3002 发表于 2023-5-30 13:19
两点建议
1、合并时候，按键盘的T键，30-60下。
2、眼镜属于遮挡物。会影响合成效果。用遮罩会好很多。

您好，感谢回复。
我这边SRC替换的人实际就是戴眼镜的，所以需要戴眼镜一起训练。
WF768、1024是什么意思？WF是全脸对吧？
遮罩没用过，是否可以用论坛中提供的万能遮罩，改善我的训练或合成效果？

zongxp

seancai110 发表于 2023-5-30 10:29
你遮罩模式选错了。按X切换mask mode，还是遮罩的问题。我不知道你有没有Xseg，不太确定你这个眼镜超出脸 ...

您好，感谢回复。
我X切换几次后，感觉所选的模式真实一些，切换到XSeg模式（xseg-dst\xseg-prd\xseg-prd*xseg-dst）后，是两个脸重叠的效果，如图所示。
眼镜部分没有做特殊处理，直接生成src和dst数据开始训练的。
是不是需要训练遮罩？可以采用论坛中提供的万能遮罩来改进吗？

seancai110

zongxp 发表于 2023-5-30 14:11
您好，感谢回复。
我X切换几次后，感觉所选的模式真实一些，切换到XSeg模式（xseg-dst\xseg-prd\xseg-prd ...

你应该是model文件夹里没有遮罩文件Xseg吧。。。你的merged mask应该只是一个灰色的。这样的话，你只是简单的50%融合而已。。。

你在论坛里下一个遮罩试试看吧。但是两个眼镜互相替换，这个有点难处理。因为绝大部分遮罩的目的，都是为了剔除眼镜，而不是包含眼镜。
应该只能利用遮罩保留dst的眼睛，src的眼镜没法移植过来。

给src写入遮罩，dst不用写入。然后训练人脸模型，之后合成的时候选xseg-dst