deepfacelab框架迁移为pytorch的问题

wtxx8888

day270010678 发表于 2026-4-8 15:47
不知道你的逻辑是什么，我问你在pytorch环境里面，纯张量NCHW操作高效稳定还是频繁cpu和gpu转换numpy层面 ...

兼容性不要？你Torch出的，回不去原版，有屁用？
要速度快？一个混合精度，就足够起飞！差那点 转换的损耗？

day270010678

wtxx8888 发表于 2026-4-8 17:43
兼容性不要？你Torch出的，回不去原版，有屁用？
要速度快？一个混合精度，就足够起飞！差那点 转换的损耗 ...

竟扯淡，fp16和fp32，一个天，一个地，真以为这点精度没影响啊，你混合去试验下，就这点精度能让你彻底增加抖动的概率，权重文件你转换下压缩到一半，你要是中间计算过程再用混合精度那就是一坨屎，保证你大幅度增加抖动的概率。你以为dfl作者为什么不用混合精度压缩是因为什么？谁都知道他的权重文件是一大瓶颈，但是为什么他不用混合精度压缩？我用原版权重文件混合精度压缩到40mb，我中间过程都用float64，都有偏差，会几何倍数增加抖动的概率。你所谓的起飞都是狗屎，除非你修改阀值，不管是msn还是过滤阀值，否则就算你增加伪批处理最多提升一倍速度。谁告诉你回不到原版？这就是个数据转换的过程，提供转换接口就行了，抛弃过程，只在最后做一次转换或者单独弄个接口，不香？

wtxx8888

day270010678 发表于 2026-4-8 23:19
竟扯淡，fp16和fp32，一个天，一个地，真以为这点精度没影响啊，你混合去试验下，就这点精度能让你彻底增 ...

前向后向 FP16，梯度FP32，权重文件是 FP32，才叫混合精度！
俄罗斯原版崩 是全量FP16，梯度与存档 都是FP16，所以必崩！
还提原版，证明  你都不知道为什么，俄罗斯原版的FP16 会崩。。。
原版那是 混合精度吗？权重存FP16，叫混合精度吗？
你连混合精度，到底是啥 都不清楚，还掰扯啥呢？
论文给你，好好看吧。。。
【论文阅读】Mixed Precision Training - 知乎

day270010678

wtxx8888 发表于 2026-4-9 00:08
前向后向 FP16，梯度FP32，权重文件是 FP32，才叫混合精度！
俄罗斯原版崩 是全量FP16，梯度与存档 都是FP ...

我感觉对牛弹琴了，我以为我们谈的都是前期阶段，因为说到权重文件了，呃，我现在发现你所谓的混合精度是后期训练，行了，假如你认为混合精度可以的话，你就用吧，我的建议是不用，尤其是切脸阶段，禁止一切牺牲精度的行为，否则后期训练中，dfl的很多训练参数失效，导致很多细节方面的训练等于无效，纯粹浪费时间，并且会增加抖动概率。

july

wtxx8888 发表于 2026-4-9 00:08
前向后向 FP16，梯度FP32，权重文件是 FP32，才叫混合精度！
俄罗斯原版崩 是全量FP16，梯度与存档 都是FP ...

leeso那个魔改版应该就是这么实现的，用了半年多了，兼容原版模型，很稳
出于用户体验，兼容原版才是最好的方案

wtxx8888

day270010678 发表于 2026-4-9 10:19
我感觉对牛弹琴了，我以为我们谈的都是前期阶段，因为说到权重文件了，呃，我现在发现你所谓的混合精度是 ...

按理说 能写代码，不至于 这么无知。。。
还特么后期，你家 卷积层的前向传播 后向传播 是后期？
跟你继续说，确实是 对牛弹琴。。。

wtxx8888

july 发表于 2026-4-9 11:31
leeso那个魔改版应该就是这么实现的，用了半年多了，兼容原版模型，很稳
出于用户体验，兼容原版才是最好 ...

正品的混合精度 下，DFL 是崩不了的。