预训练参数等问题，内有大佬解惑，适合举棋不定的小白

844720294

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

想要自己从头开始做底丹了，论坛搜了一圈，本来以为可以开始了，结果看到有老哥发的这张图，突然懵逼了。
这些参数一个都没见过（主要是ae编码器长度、编码器维度、解码器维度、掩码层维度、启用loss平滑、loss平滑强度、启用注意力、rnda），官方教程里好像没有，不知道要去哪里学？

ps：老哥们不要吐槽“高级丹师”的问题了，这是论坛刚开的时候充了500充出来的，以前都是在别人模型的基础上训练，只有复用的经验，预训练完全是小白。最近觉得眼神问题确实得好好重视了，就想着从预训练慢慢学起来。

xunlian

AE编码器长度 越高代表，能提取图片能力越高
编码、解码维度这两个值是相等的，这个值决定了还原图片的能力

举个例子
训练一张512的图片，高AE，不仅能把五官轮廓，还能把皮肤纹理，脸上的痣之类的都提取出来打包。五官一个包裹，肤色一个包裹，皱纹一个包裹。痣一个包裹。

编码器维度就像一个快递员，维度越高，代表这个快递员能一次性送的货多，好比一个开大卡车的，上面的包裹一次性打包通通拉走。维度低好比这个快递员骑个电动车，一次只能送1个包裹，剩余的包裹就不能送，其余的丢弃。

解码器维度就是个接收员，收到5个包裹的，立马就把人物五官，肤色，纹理，痣开箱，还原成原有样子
收到1个包裹的，就只能把五官还原出来。

值越高，能力越强，但是计算开销成本也大，训练成本高。

zsgdfl2023

844720294 发表于 2024-12-22 21:23
通俗易懂，太感谢了。还有几个问题想再请教下，望解惑
1.分辨率需要和ae一样吗？
2.掩码器是什么？跟上面 ...

AE最好比分辨率高1~2个维度 比如 分辨率是256 ae就设置成 288或320 然后再把ae除以4 就是编码维度

844720294

xunlian 发表于 2024-12-22 20:55
AE编码器长度 越高代表，能提取图片能力越高
编码、解码维度这两个值是相等的，这个值决定了还原图片的能力 ...

通俗易懂，太感谢了。还有几个问题想再请教下，望解惑
1.分辨率需要和ae一样吗？
2.掩码器是什么？跟上面这些的关系是什么？
3.我的配置是4060ti 16g显存，32g内存，想要训练一个256wf的丹，分辨率、ae、编码解码是不是应该如下设置256 256 64 64 ？还是说还需要遵循一些其他的规则？

844720294

xunlian 发表于 2024-12-22 20:55
AE编码器长度 越高代表，能提取图片能力越高
编码、解码维度这两个值是相等的，这个值决定了还原图片的能力 ...

另外，编码器、解码器和掩码器是不是分别对应模型配置文件里的
e_dims    d_dims    d_mask_dim

844720294

zsgdfl2023 发表于 2024-12-22 21:49
AE最好比分辨率高1~2个维度 比如 分辨率是256 ae就设置成 288或320 然后再把ae除以4 就是编码维度 ...

好的，谢谢，受教了

844720294

zsgdfl2023 发表于 2024-12-22 21:49
AE最好比分辨率高1~2个维度 比如 分辨率是256 ae就设置成 288或320 然后再把ae除以4 就是编码维度 ...

再请教个问题，预训练是不是就等于src-src，或者在src和dst里放相同的素材，一直训练到目标迭代次数？还是说，虽然也可以放不同的图，但放相同的图效果更好？

zsgdfl2023

844720294 发表于 2024-12-23 07:40
再请教个问题，预训练是不是就等于src-src，或者在src和dst里放相同的素材，一直训练到目标迭代次数？还 ...

预训练没有src和dst的概念，src和dst都是同步训练的。
预训练就是提高模型的泛化能力，素材质量越高越好，清晰度、表情、角度、光影色彩等 覆盖得越全面越好，好的预训练丹就是好素材和耐心练出来的。

844720294

zsgdfl2023 发表于 2024-12-23 10:18
预训练没有src和dst的概念，src和dst都是同步训练的。
预训练就是提高模型的泛化能力，素材质量越高越好 ...

嗯嗯，好的，了解了

fghfdg

zsgdfl2023 发表于 2024-12-23 10:18
预训练没有src和dst的概念，src和dst都是同步训练的。
预训练就是提高模型的泛化能力，素材质量越高越好 ...

大佬请问预训练是不是不打开扭曲的？如果我在选择训练参数的时候扭曲选了“y”，但是训练时的模型概要显示没开扭曲，那到底是开了还是没开