关于GPEN强化后的人脸训练时出现的问题

muyanzhao · 发表于 2022-1-23 11:28:30

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

实测GPEN强化人脸出现的训练与合成问题
1测试环境：
模型[正在输入224f第三版]
SRC素材1080P影视截取佟丽娅《爱的厘米》《完美关系》《霞光》及部分4K生图写真切脸后筛得1200张用于src
DST素材1080P截取某相似脸型女主持直播画面，有左右侧脸，无极限角度，光线柔和
本次测试不涉及极限角度 已手动筛选掉模糊与色差过大图片
测试组SRC[A组256*256f/512*512f]（使用gpen增强）--对照组[B组256*256f/512*512f]（未使用gpen增强）
目标组DST[256*256f]
2训练过程：
具体训练参数为
一阶段（BS-4 扭曲开真脸0.01 眼睛嘴巴关 gan关衰减率关 rct 梯度裁剪开）共2.5W迭代
二阶段（BS-4 扭曲关真脸0.01 眼睛嘴巴开 gan关衰减率关 rct 梯度裁剪开）共1W迭代
三阶段（BS-4 扭曲关真脸0.01 眼睛嘴巴关 gan_power0.001 gan_bs4 gan_dims4 衰减率关 rct 梯度裁剪开）共1W迭代
3训练及合成出现的问题：
问题一：训练1.5W迭代时预览图已效果很好，但使用gpen强化后的对照组src的loss值高居不下，4W迭代时仍无法将loss值降下，反观未使用gpen强化的对照组，loss值下降正常；另使用gpen强化的src在面部高光及额头头发遮挡时有概率出现黑影与颜色溢出
问题二：合成时使用gpen强化的素材出现明显的f脸额头边缘颜色色差与轮廓，且无法使用羽化侵蚀遮罩参数调整来消除，脸部高光油光满面不忍直视，一秒出戏
4猜测可能原因及处理方法：
gpen强化时生成的像素点与原图像素点之间仍有色差，导致训练时色彩出问题且高光部分生成的纯白色像素点导致了脸部油光
建议尽量使用高质量原图素材，减少gpen素材数量，稀缺角度模糊图片使用gpen强化，易得的正脸部分不要使用gpen强化