关于训练中遇到色斑 by B站菜级玩家

caiji132156

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

关于训练中遇到色斑

关于DF架构：

第五列出现色斑的原因是src_decoder接收dst code后无法应对，数据集色彩差异过大，仅用src训练的src decoder无法适应dst code，开启颜色转换\增强强迫src decoder学习更多色彩模式，从而减缓这个问题（因为是架构缺陷）：

Trueface、facestyle这两个选项冲突。因为Trueface是让生成的src更真实，而facestyle是让生成的src有dst的纹理细节。

再说一次，TrueFace是通过对抗训练让inter里面的code分布向src靠拢，不是某个名字里面有四个数字的大神说的那样：

实验数据：

[DF架构][未开启颜色转换] 训练久了人物脸上有色斑咋回事呢？

[DF架构][未开启颜色转换] 训练模型的时候脸部出现色斑能通过关闭遮罩训练修复吗？

[DF架构][未开启颜色转换] 开GAN后炸丹(出现色块)拯救方案

[DF架构][开启颜色转换][ Trueface、facestyle]求助求助，是炸丹了吗

[DF架构][开启颜色转换]各位大大 是否炸丹了

[DF架构][未开启颜色转换]出现这样的色块是要炸丹吗？

[DF架构][开启颜色转换][ Trueface、facestyle]请问这是炸丹了吗？

关于LIAE架构：

实验数据：

[LIAE架构][实际是没炸丹]炸丹..朱茵liae型全脸测试544万迭代_2G显存可用..你细品

caiji132156

day270010678 发表于 2026-8-2 01:04
楼主是对的。DF架构的trade-off：身份分离更强（双解码器），但需要颜色迁移补偿。LIAE没有色斑但身份分离 ...

Bottleneck并改了内部结构（加Linear+LayerNorm）这是为什么？
回答：为了把瓶颈压小，然后让隐向量稳定，原版的不紧凑，虽然原版已经压了很小了

编码器为啥要冻结？
回答：预训练练的就是编码器，为啥不冻结呢

中间层什么时候冻结？
回答：当关闭扭曲的时候，人脸成像已经趋于稳定了，那就说明特征已经稳定，可以冻结了，这个靠肉眼观察，不过即使是比较模糊的时候冻结，也仍然能重建出高清图像。并且在收敛的时候，中间层不会更新很多有用（对于重建高清人脸来说）内容的

解码器的mask分支为啥要冻结？
回答：这个我解释一下，刚才说了中间层是存特征的，有时候我们的src素材不丰富，想要用点其他素材补一补，例如我这个素材没有牙齿，然后我去下载牙齿包补一补，但是我练久了遮罩就异常了，遮罩又学习遮罩了人脸的遮罩又学习遮罩了牙齿的遮罩，素材不一致导致遮罩的梯度更新混乱，就会导致遮罩异常了，这里给出来这个功能是为了实现补逻辑的可能，实际上我们已经训练了很多个东拼西凑的模型了

为啥没说完，额其实这个我B站有说，或者我平时在群里面也说，我群文件的理论文件夹也会说，我认为在github上面来试试看我的项目的人，或多或少了解过基本的AE结构，这个确实是我考虑不周了，不过我目前做着教程，你的意见我会好好收纳

额，谁这么厉害给我点个反对

caiji132156

GAN是啥，对抗训练就是GAN。DFL里面叫GAN的GAN是补丁GAN，针对解码器重建的，叫真脸的GAN是codeGAN，是针对inter分布的。

july

caiji132156 发表于 2026-7-24 01:09
GAN是啥，对抗训练就是GAN。DFL里面叫GAN的GAN是补丁GAN，针对解码器重建的，叫真脸的GAN是codeGAN，是针对 ...

请教大佬，为什么开gan出来的细节跟锐化过度一样，是开大了导致的吗？gan要开过少才合适，有没有标准？
我看有人直接训练出细节，都不开gan，这是怎么做到的？除了素材

day270010678

楼主是对的。DF架构的trade-off：身份分离更强（双解码器），但需要颜色迁移补偿。LIAE没有色斑但身份分离稍弱。我看了你的部分源码，true_face_power：对抗训练让inter code分布向src靠拢---生成的src更真实，face_style_power：VGG风格损失让生成图有dst的纹理细节 --生成的src偏向dst风格，两者目标相反所以加互斥检查更好。Freeze我看到你训练分阶段冻结不同层。

Freeze encoder        Encoder编码器        编码器已学好身份特征后冻结，只训练解码器改善生成质量
Freeze inter (DF)        Inter中间层（DF架构）        DF架构的Inter层收敛后冻结，防止训练解码器时Inter被带偏
Freeze inter_AB (LIAE)        Inter_AB中间层（LIAE架构）        LIAE的共享中间层收敛后冻结
Freeze inter_B (LIAE)        Inter_B中间层（LIAE架构）        LIAE的dst专属中间层收敛后冻结
Freeze decoder mask        Decoder的mask分支        mask分支已学好面部遮罩后冻结，只训练RGB分支改善图像质量


我这样理解有没有错，你这个法子确实很好的解决了训练中的一些问题，先训练一部分层收敛后，冻结它们，再训练其他层，但是你似乎没说明白这些参数的具体使用条件啊。比方说训练初期，loss还在快速下降时，更换数据集后等等这个时候不该冻结吧，encoder loss不再下降，但decoder输出还有伪影 ===冻结encoder+inter
mask分支已稳定覆盖面部，但图像质量还在提升===额外冻结decoder mask
训练后期想微调细节===冻结大部分层只留decoder RGB
.....等等这些时候应该再冻结，你没提供说明啊，大部分人恐怕不知道这些参数的具体使用方法，我看你源码里面没说明，另外我看你把Inter重命名为Bottleneck并改了内部结构（加Linear+LayerNorm）这是为什么？能说说理由吗？按理说都是编码器和解码器之间的中间层，功能定位应该是相同的啊？


还有其实我也很迷糊，dfl的训练策略是全部层一起训练，不做分阶段冻结。ct_mode + 推理时必须做颜色迁移，虽然效果可能不如分阶段冻结不同层，但是胜在简单。

caiji132156

day270010678 发表于 2026-8-2 01:04
楼主是对的。DF架构的trade-off：身份分离更强（双解码器），但需要颜色迁移补偿。LIAE没有色斑但身份分离 ...

只有Large改了瓶颈，然后改成瓶颈是因为我习惯叫瓶颈。没有啥原因。large权重不兼容原版，并且你会注意到从0训练的时候，色彩和原版模型不太一样。如果你看到了我的残留代码的话，你会发现我之前其实尝试使用多尺度输入编码器，不过我觉得这玩意除了可以拉一下评分，对于细节的学习不如直接加个VGG损失
还有几个废案模型，我尝试学习ice和me把解码器堆得很深，ice是原版3.5倍深度，而me是9倍深度，增加深度确实很有助于人脸重建，我注意到即使编码器维度比较小，解码器仍然能重建高清人脸。不过深度增加的结果就是参数爆炸。
XSeg的话就是有一个不知道有什么用的Dense瓶颈，我不知道这个Dense是用来做什么的，大部分UNet是没有Dense的，所以我改了改把Dense删了，把结构换成了Full CNN

caiji132156

caiji132156 发表于 2026-8-2 02:10
Bottleneck并改了内部结构（加Linear+LayerNorm）这是为什么？
回答：为了把瓶颈压小，然后让隐向量稳定， ...