跑个512的丹玩玩

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

这种头大身子细的丹还是第一次玩，不知道会跑成什么效果，下面288-512-80-80的丹用20批量跑了快100万了，跑到200万的时候再分享出来

wtxx8888

dfl9999 发表于 2025-1-1 20:42
同参数df能多跑近一倍的bs，但是跑着跑着容易暴毙，还是liae适合躺平

嗯，所以，懂代码才是王道，
LIAE的丹，不需要太高的AE，按照DF的AE效果，取一半就足够了。
可以节省，被算法坑掉的资源。

而DF，想要好点的效果，需要心目中的AE，然后双倍才可以。
比如默认值，DF起步，就要512的AE。。。因为LIAE也是256的AE，DF就得是双倍的AE，才能跟LIAE默认的AE256比。。。

wtxx8888

LIAE先天输入2倍AE，输出4倍AE。（算法加倍）
LIAE的256AE，相当于DF的512AE。

dfl9999

wtxx8888 发表于 2025-1-1 20:21
LIAE先天输入2倍AE，输出4倍AE。（算法加倍）
LIAE的256AE，相当于DF的512AE。

那太好了，直接梭哈分辨率，我288的那个丹512的ae，岂不是上天了

dfl9999

wtxx8888 发表于 2025-1-1 20:21
LIAE先天输入2倍AE，输出4倍AE。（算法加倍）
LIAE的256AE，相当于DF的512AE。

我512 ae的那个丹，预训练用bs20跑了100万了，开了高loss样本重训，皮肤纹理才开始出来，真他妈难练

wtxx8888

dfl9999 发表于 2025-1-1 20:27
我512 ae的那个丹，预训练用bs20跑了100万了，开了高loss样本重训，皮肤纹理才开始出来，真他妈难练 ...

LIAE运算的是AB，所以删AB，也会重置变形。

dfl9999

wtxx8888 发表于 2025-1-1 20:28

所以我不玩df丹了，训练火候要求太高了，过度训练都是负收益，我现在是能用就行

wtxx8888

dfl9999 发表于 2025-1-1 20:31
所以我不玩df丹了，训练火候要求太高了，过度训练都是负收益，我现在是能用就行 ...

实际上DF用512AE，并不会比LIAE的AE256差。（资源消耗，DF还会略低，毕竟输出那，AE还低了一半）
大家都习惯于，比明面上的AE，看起来好像DF的AE高，实际上，DF要双倍AE，才勉强，能跟LIAE持平（输出还低一半的AE。。。）

dfl9999

wtxx8888 发表于 2025-1-1 20:36
实际上DF用512AE，并不会比LIAE的AE256差。（资源消耗，DF还会略低，毕竟输出那，AE还低了一半）
大家都习 ...

同参数df能多跑近一倍的bs，但是跑着跑着容易暴毙，模型好不好全看src，src不行练到死都是个废丹，还是liae适合躺平

pasanonic

有牛逼显卡就是任性