关于为什么Lr_dropout没有用 by B站菜级玩家

caiji132156 · 发表于 2026-7-24 00:45:54

星级打分

1
2
3
4
5

平均分:5 参与人数:1 我的评分:未评

本帖最后由 caiji132156 于 2026-7-24 02:05 编辑

关于常见的dropout
常见的dropout层，dropout则是在前向传播的时候随机将部分神经元输出置零
这相当于一个人为的“残缺模型”，由于损失函数基于这个“残缺模型”计算，之后的反向传播梯度天然只流经活跃路径，迫使模型学习更加鲁棒的特征，避免过拟合
因此你可以把作用了dropout层的模型当成原模型的子集

而lr_dropout就是单纯的将每次反向传播需要更新的神经元随机拿出来一部分不更新，那本来它要更新的你给冻结了，这不闹吗？
iperov根本没有给出严谨的数学证明，甚至他自己都不知道这个东西要怎么证明
实测数据下来，这玩意只会在训练后期拖累你的训练。
那为什么那么多人觉得这个玩意有用呢？
哦，原来是代码里面顺便帮你把余弦波震荡打开了，余弦波震荡就是震荡调整学习率的东西：

实际上有用的是余弦波震荡而不是Lr_dropout
你别和我杠是lr_dropout的功劳，这玩意要是有用，那就不至于那么惨淡了：

自己看看lr_dropout被引用多少次，对比传统dropout。

然后就是关lr_dropout的时候，loss会直接弹回来的问题：

在adabelief.py里面
当lr_dropout关掉的时候，余弦退火也关了，学习率直接从小学习率恢复为iperov写死的5e-05，学习率5e-05一般在loss0.2~0.3就拟合难以下降了，然后你开lr_dropout可能会拟合到0.1~0.2就下不去了
下不去，不出细节的原因就是lr_dropout乱丢东西，他也不管他丢的东西是不是有用的，反正是随机丢掉

我在代码里面直接把这个没有任何证明的功能删除了，把余弦波震荡改成了余弦退火，纯AE没开GAN，得到这个结果：
纯AE没开GAN.png

0.05的loss
别说会不会过拟合了，DFL根本不会过拟合，因为本身DFL就是对特定身份的过拟合，如果他不对特定身份过拟合，他就会泄露dst身份了，就会不像
你们说的炸丹单纯是因为素材太垃圾了，详细可以去看我三维那篇

ulu · 发表于 2026-7-24 01:18:28

学到了
记得 LRD 的参数说明：
当面部训练足够时，您可以启用此选项，以获得额外的清晰度, 并减少亚像素抖动以减少迭代次数。
1. 不清楚是不是会和他说的一样减少抖动，论坛大部分偏向他是能变清晰的用处。所以说，变清晰其实是因为余弦退火收敛了模型？
2.如果底丹是开过 lrd 的，复用的时候需要关吗?

caiji132156 · 发表于 2026-7-24 01:20:11

ulu 发表于 2026-7-24 01:18
学到了
记得 LRD 的参数说明：
当面部训练足够时，您可以启用此选项，以获得额外的清晰度, 并减少亚像素抖 ...

复用实际上就是复用编码器和解码器，还有inter里面的dstcode分布，开过lrd的，一定要关，因为目前的学习率大小根本不适合你目前的素材

caiji132156 · 发表于 2026-7-24 01:21:18

ulu 发表于 2026-7-24 01:18
学到了
记得 LRD 的参数说明：
当面部训练足够时，您可以启用此选项，以获得额外的清晰度, 并减少亚像素抖 ...

减少抖动是iperov乱写的，关了随机扭曲就是减少抖动了

ulu · 发表于 2026-7-24 01:26:37

本帖最后由 ulu 于 2026-7-24 01:28 编辑

caiji132156 发表于 2026-7-24 01:21
减少抖动是iperov乱写的，关了随机扭曲就是减少抖动了

牛逼，在论坛挖了这么久坟。大部分经验主义，少量教条主义，抓主要矛盾的少中之少

caiji132156 · 发表于 2026-7-24 01:33:35

ulu 发表于 2026-7-24 01:26
牛逼，在论坛挖了这么久坟。大部分经验主义，少量教条主义，抓主要矛盾的少中之少 ...

你以为我不想发吗，你看看某些人是什么态度的，高高在上的。我平时只在我群里讲的

setsuna133 · 发表于 2026-7-24 01:37:55

笨蛋牢鸡，这里不是余弦退火，余弦退火公式里cosnπ 的n取值范围在[0,1]，所以学习率会缓慢降低；而他这里的cos覆盖了整个周期，所以学习率其实会在[0, lr]间周期振荡，不会退火，本质上是在学习率上附加了一个余弦波调制

caiji132156 · 发表于 2026-7-24 01:39:22

本帖最后由 caiji132156 于 2026-7-24 01:41 编辑

setsuna133 发表于 2026-7-24 01:37
笨蛋牢鸡，这里不是余弦退火，余弦退火公式里cosnπ 的n取值范围在[0,1]，所以学习率会缓慢降低；而他这里 ...

好的耄耋

forumphp · 发表于 2026-7-24 13:52:15

caiji132156 发表于 2026-7-24 01:33
你以为我不想发吗，你看看某些人是什么态度的，高高在上的。我平时只在我群里讲的 ...

你跟数字四条8的说的怎不一样，搞的我有点蒙了。。。。
请指教！

caiji132156 · 发表于 2026-7-24 13:56:38

forumphp 发表于 2026-7-24 13:52
你跟数字四条8的说的怎不一样，搞的我有点蒙了。。。。
请指教！

总地来说，学习率丢弃有用的地方是余弦波震荡，他的丢弃策略被证实为没啥用，反而会在训练后期导致人脸不清晰，下降缓慢

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）