讨论：长期开启学习率下降训练出来的图像会丧失皮肤纹理

DFL小白02

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

大家看我分析的对不对，

DFL素材很好还是训练不出皮肤纹理，是Adam优化器的固有缺陷。处理大量数据集时长期开启学习率下降，用了Adam的模型是会陷入局部最优陷阱的，模型会选取过于平滑的次优解作为输出了。是这个原因导致的皮肤纹理训练不出来，这也是为什么DFL出来的东西都很油腻，需要靠GAN生成器伪造纹理

Cxsmo

Dflab uses ada not adam

DFL小白02

Cxsmo 发表于 2025-3-28 12:26
Dflab uses ada not adam

you are right

seancai110

dfl那个实际上不是学习率下降，是某种dropout策略。目的是让模型更有普适性，防止陷入局部最优。既然防止局部最优，那自然局部细节就少了，更偏向平均。

july

seancai110 发表于 2025-3-28 20:32
dfl那个实际上不是学习率下降，是某种dropout策略。目的是让模型更有普适性，防止陷入局部最优。既然防止局 ...

那么请教大佬，如何训练出肌肤纹理呢

dfl9999

纹理出不来原因在于模型架构设计
SAEHD (Simplified AutoEncoder High Definition) 的局限性
固定感受野：SAEHD的编码器-解码器结构依赖固定尺寸的卷积核，难以同时捕捉全局轮廓和局部细节（如毛孔、皱纹）。
信息瓶颈：低维潜在空间（latent code）在压缩过程中易丢失高频细节，导致预训练生成的面部纹理模糊。
单一特征流：特征传递路径单一，无法有效整合多层级信息（例如同时利用浅层边缘特征和深层语义特征）。

ice Mulan在预训练时采用局部块（patch）级别的GAN损失即Patch-wise对抗训练（如StyleGAN2的路径长度正则化），而非全局图像判别，迫使生成器精细化处理每个局部区域。
光照与姿态解耦学习
通过分离潜在编码中的光照、姿态、身份因子（使用类似VAE的结构），减少跨样本干扰，使模型更专注细节重建而非补偿姿态变化。

动态可变形卷积（Deformable Convolution）
  通过让卷积核的采样点根据输入内容动态偏移，使模型自适应聚焦于关键区域（如眼角、嘴角），增强对细微形变的建模能力。
多分支特征金字塔
  在编码阶段并行提取不同尺度的特征，并在解码阶段通过跨层连接融合，保留从粗到细的多粒度信息。
注意力引导的残差块（Attention-Guided Residual Blocks）
  在残差结构中嵌入通道注意力（SENet）和空间注意力机制，强化对重要面部区域（如瞳孔反光、皮肤高光）的权重分配。



这就是为什么ice会出来的原因。

seancai110

july 发表于 2025-3-29 09:27
那么请教大佬，如何训练出肌肤纹理呢

开gan啊，后期学习率下降可以关了

july

seancai110 发表于 2025-3-29 20:16
开gan啊，后期学习率下降可以关了

光开gan没用，开gan感觉强制锐化，根本没有真实的细节，我看很多人不开gan，肌肤纹理都和真人一般，这是怎么做到的

seancai110

july 发表于 2025-3-30 09:53
光开gan没用，开gan感觉强制锐化，根本没有真实的细节，我看很多人不开gan，肌肤纹理都和真人一般，这是怎 ...

不知道了，我没这么高要求，src和dst质量也是一部分原因吧。

dada_sky

赞同，我也发现了，开了30多个小时lr后，发现素材皮肤光滑了，好在我src素材分辨率不是特别高，光滑点总比模糊好，后期开gan关学习率可能会好点，更真实些。