开了梯度之后先下降后上升是怎么回事

JoyChan0808

pasanonic 发表于 2024-11-4 17:55
你把  dst 和 src两边换一下看能不能救回来

这么大的三维 配上小分辨率有些得不偿失

dst和src都是同一份呀

pasanonic

JoyChan0808 发表于 2024-11-4 17:58
dst和src都是同一份呀

预训练?

JoyChan0808

pasanonic 发表于 2024-11-4 17:59
预训练?

是呀，自己炼底丹

nde2024

楼主选择了高维度参数 ae_dims: 512，e_dims: 128，d_dims: 128。高维度模型通常具有更强的表达能力，但也更容易在训练集上过拟合，并对噪声敏感。

高维度同时意味着高复杂度，这可能导致梯度更新的不稳定，从而使得 LOSS 出现剧烈波动，影响模型的收敛性。模型维度参数的选择应基于具体需求和数据特性，在模型的表达能力与稳定性之间找到平衡，而不是仅仅依据显卡的性能来设定。需要特别强调的是，维度设置的越高并不一定意味着模型就越好！

此外，在模型训练早期未开启梯度，直到出现不稳定现象时才启用，这可能引入了不稳定性，尤其是在高复杂度模型中。

鉴于你的模型 LOSS 出现不稳定的波动，特别是在迭代 964131 时，SRC LOSS 突然降至 0.4542，而 DST LOSS 却升高至 0.5259，这显示出不正常的波动。

建议你继续观察后续的迭代情况。如果随着梯度的开启，LOSS 值逐渐趋于稳定并正常下降，那么可以继续进行迭代。

如果在后续迭代中多次出现类似的不正常震荡，那么你需要重新评估是否继续在当前不稳定的模型上迭代。

dfl9999

pasanonic 发表于 2024-11-4 17:55
你把  dst 和 src两边换一下看能不能救回来

这么大的三维 配上小分辨率有些得不偿失

我觉得三维比分辨率重要，丹的细节上限是三维决定的，分辨率只决定三维的整体上限，我现在就准备开个256-768ae的丹

pasanonic

dfl9999 发表于 2024-11-4 20:35
我觉得三维比分辨率重要，丹的细节上限是三维决定的，分辨率只决定三维的整体上限，我现在就准备开个256- ...

爽啊 换显卡了 要是晚点配  换上AMD 9800X 3D超神

dfl9999

nde2024 发表于 2024-11-4 19:35
楼主选择了高维度参数 ae_dims: 512，e_dims: 128，d_dims: 128。高维度模型通常具有更强的表达能力，但也 ...

软件作者建议开lrd之前务必开梯度，这个我觉得按照做就行了，如果是素材高度复杂而且多的对练场景，我觉得ae值越大越好，滚石224的丹已经证明了低分辨率模型也能很好应付1080p的换脸场景，可以多分配资源给三维。

dfl9999

pasanonic 发表于 2024-11-4 20:39
爽啊 换显卡了 要是晚点配  换上AMD 9800X 3D超神

哈哈，换了显卡才知道以前的三维练出的是废丹，走了不少弯路，现在就等高清素材到位，练出真正好用的模型

pasanonic

dfl9999 发表于 2024-11-4 20:43
哈哈，换了显卡才知道以前的三维练出的是废丹，走了不少弯路，现在就等高清素材到位，练出真正好用的模型 ...

我也是一直练的乱七八糟  最近回到滚石的 224了 现在在跑妆容 统一一个时期的脸,也难练跑了30W了

dfl9999

pasanonic 发表于 2024-11-4 20:46
我也是一直练的乱七八糟  最近回到滚石的 224了

不走弯路怎么走到正道呢？我那个256的丹才256的ae，结果跑了全图，又是对练，导致人脸清晰度上限比较低，覆写比较困难，不走这个弯路怎么会去系统学习三维和分辨率对模型的影响呢？