dfl刚开始训练的时候，脸上是不是也是这样仿佛被涂了泥了

day270010678 · 发表于 2026-8-20 15:08:01

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 day270010678 于 2026-8-20 21:19 编辑

dfl刚开始训练的时候，脸上是不是也是这样仿佛被涂了泥了？，我没有用dfl完整训练过，不知道，dfl是否也是这样？我怀疑是我的预估遮罩会逐步追加到手动遮罩导致的。我就是猜测，没有认真分析，只是好奇你们的dfl是不是这样、屏幕截图 2026-08-20 150403.png

本来想偷懒，但是看到你们说dfl没有，训练了几步，打印了参数，发现了问题，

Inter.dense1权重过大(训练后增长~20倍) --std=27.9 核心问题
Inter.dense2进一步放大 --std=39
z传给Decoder: max=327, 稀疏大值
Decoder上采样 --局部高频纹理("泥巴")
out_conv mean=-1.7 ---sigmoid偏暗(0.247)

两步需改第一个在Inter类的dense1和dense2之间插入LayerNorm
第二个build_optimizers 参数分组过滤
现在正常了，没有泥巴脸了，本来想偷懒直接用dfl的网络层，但是pytorch似乎有点不同，回头空了直接不用dfl的网络层了。