df-dut 416-512-90-90预训练模型

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

这应该是论坛第一款在预训练阶段用余弦退火+强开扭曲收敛的模型，通过对8万张离散素材进行扭曲训练到清晰，避免了模型死记硬背特定素材结构，同时加速正训阶段随机扭曲的速度，由于软件本身在预训练阶段不支持开启扭曲，即便改代码强开也会导致模型发散，进行了一系列的实验和微调，最后成功了。
由于4090d卖了，5090正在路上，目前没有办法验证模型正训效果和稳定性，先放上来再说吧。