关于模型三维的分配 by B站菜级玩家

caiji132156

haha1632 发表于 2026-7-24 14:13
常规建议一般是ae的1/4，512的ae，128合理。至于d_dims，ae不变的情况下，无限拉高到256甚至拉平到512有 ...

不是说dims很大，而是参数大，原版DFL最大是5层，也就是带T参数。而木兰模型把通道宽扩大了2倍，或者是双倍分辨率，这个是某个后缀

caiji132156

haha1632 发表于 2026-7-24 14:13
常规建议一般是ae的1/4，512的ae，128合理。至于d_dims，ae不变的情况下，无限拉高到256甚至拉平到512有 ...

ice解码器，每级4-12个卷积，含瓶颈残差块，相当于大约32个卷积核。而原版DFL的，每层就两个卷积核，根据4~5层上采样，那就是8~10个卷积核。参数量就根本比不上了。相同维度的解码器，ice比dfl参数量大将近3~4倍
约等于来说，ice开64的d dims，你原版得开256
但是这里面的数学意义不完全一致，卷积核参数量不一定是衡量架构的标准，所以不能说ice参数量除3~4就相当于DFL了，这个说法欠妥

haha1632

caiji132156 发表于 2026-7-24 14:39
ice解码器，每级4-12个卷积，含瓶颈残差块，相当于大约32个卷积核。而原版DFL的，每层就两个卷积核，根据4 ...

懂了~
现在新出的torch版说是能减少30-50%的显存，直接就能拉更大的三围了，感觉应该效率更高。

caiji132156

haha1632 发表于 2026-7-25 12:33
懂了~
现在新出的torch版说是能减少30-50%的显存，直接就能拉更大的三围了，感觉应该效率更高。 ...

bf16精度显存少一半，还有一部分少不了的是优化器的问题，adablief前期可以换成lion优化器，下降快速之后换adabelief优化器收敛