求救大佬，模型损失很小，但视频合成效果不好，遮罩的...

12556984

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

模型的目标是将拜登的脸换为特拉斯。。。。
想问下 ： 导致下面问题的原因是不是没有训练遮罩、没有自己手动画遮罩啥的？


###################################################
我是在linux服务器上跑的，因为没有UI，所以用的是命令：
                               bash 6_train_SAEHD_no_preview.sh
     （其余的命令也选择的是非预览模式、非交互模式）
最后模型训练的损失还不错，只有0.15左右，但是合成图像时，结果很糟糕，见下图：



拜登视频提取图像(aligned) 和  特拉斯视频提取图像(aligned)分别如下：


拜登的 aligned_debug ()示例如下：

zf2336300

个人觉得是两种情况。
模型是F脸，不是WF。F脸一般都是这种缺额头的。
或者是WF的，那这样就得画遮罩把整张脸都画进去。

12556984

zf2336300 发表于 2022-11-21 20:05
个人觉得是两种情况。
模型是F脸，不是WF。F脸一般都是这种缺额头的。
或者是WF的，那这样就得画遮罩把整张 ...

好的，万分感谢，我试试看，好人一胎十个

cjlzkl

src素材都是这个清晰度么？那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。

jinyuan37

素材太模糊了，脸型也差的多

freellxd

素材太差，而且合成的时候有一些参数没有调整，找教程看一下吧

12556984

cjlzkl 发表于 2022-11-21 20:54
src素材都是这个清晰度么？那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。 ...

方便问一下颜色模式是啥？  训练参数中英文叫啥 ？

12556984

cjlzkl 发表于 2022-11-21 20:54
src素材都是这个清晰度么？那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。 ...

方便问一下颜色模式在训练参数中叫啥？

12556984

zf2336300 发表于 2022-11-21 20:05
个人觉得是两种情况。
模型是F脸，不是WF。F脸一般都是这种缺额头的。
或者是WF的，那这样就得画遮罩把整张 ...

试了一下，问题如下。。。。。所以现在解决办法是要重新画dst的遮罩，将拜登整张脸包括吗？

根据哥们你的意思。在提取src和dst、以及训练模型时，face都采用了wf模式，然后history image是这样：




但最后的合成效果还是不好：


训练模型的参数如下：

cjlzkl

12556984 发表于 2022-11-22 16:14
方便问一下颜色模式在训练参数中叫啥？

看到rct这三个字，就开rct