DeepSeek将彻底颠覆传统的深度思考和问题解决方式

脱氢乙酸钠

夸大其词！广告营销的手段罢了

wtxx8888

dfl9999 发表于 2025-1-27 14:51
那就好

果然最后测试一遍，是有必要的，查出来一项报错,，函数少复制了一个字母，哈哈。。。
修正了

fghfdg

wtxx8888 发表于 2025-1-27 16:37
果然最后测试一遍，是有必要的，查出来一项报错,，函数少复制了一个字母，哈哈。。。
修正了
...

大佬问个问题，遮罩模型能像saehd那样通过复制npy文件的方法把训练过的东西迁移到新模型上吗？比如说我在神农上面新建一个512遮罩，在ice训练过的遮罩npy都复制过去

wtxx8888

fghfdg 发表于 2025-1-27 18:16
大佬问个问题，遮罩模型能像saehd那样通过复制npy文件的方法把训练过的东西迁移到新模型上吗？比如说我在 ...

要看神经网络算法，一样不一样。
还有数据序列化的格式，一样不一样（格式化用的依赖，必须一样，可以格式化的依赖，多了去了，格式不通用）。
ICE闭源，看不到算法跟格式化用的依赖，基本不用想，能被其他版本调用。

自己看ICE的代码文件，它512遮罩单独有自己的文件。意味着肯定不是原版算法。

自己再看看文件的大小，它俩是一样的大小吗？你纯想多了。

fghfdg

wtxx8888 发表于 2025-1-27 18:24
要看神经网络算法，一样不一样。
还有数据序列化的格式，一样不一样（格式化用的依赖，必须一样，可以格式 ...

ice那个代码压根看不了啊，不知道怎么打开

wtxx8888

fghfdg 发表于 2025-1-27 18:39
ice那个代码压根看不了啊，不知道怎么打开

看不了，闭源的。
我等会的更新，也闭源了关键代码。

fghfdg

wtxx8888 发表于 2025-1-27 18:41
看不了，闭源的。
我等会的更新，也闭源了关键代码。

不过他的那个时间换显存的技术真的牛逼。我笔记本4070的8g显存+32g内存，在笔记本上用ice训练，打开rg优化，能占用了20g内存还不报溢出。在神农版上面打开rg优化都就不到这个效果

wtxx8888

fghfdg 发表于 2025-1-27 21:01
不过他的那个时间换显存的技术真的牛逼。我笔记本4070的8g显存+32g内存，在笔记本上用ice训练，打开rg优 ...

RG引擎我都不想看，那速度无法接受。
而且是改底层，会造成哪怕不开它，就正常训练，也会被减速。
而且原版本身就有类似的功能，models_opt_on_gpu。
模型放在GPU上关掉，一样可以牺牲速度，换来一堆的BS。
同BS下，放与不放，速度有百分之三十的差距。
不放，BS大概可以多开4到8个，同BS都慢的一批，再多开BS更特么慢，轻松变成几秒一迭代~哈哈

ICE这项是无效的，强制工作在内存，你就是开的，也不是放在显卡里。（正常迭代，就比原版慢百分之十）
这叫牛逼？当然了，确实可以勉强运行，本来无法运行的模型，然并卵，那速度根本等不起。

fghfdg

wtxx8888 发表于 2025-1-27 21:38
RG引擎我都不想看，那速度无法接受。
而且是改底层，会造成哪怕不开它，就正常训练，也会被减速。
而且原 ...

能跑就行，我用笔记本来跑512的遮罩。手上有两个迭代八百多万的512遮罩，加上自己的轨迹图训练。（笔记本只有8g显存，开了rg都只能跑bs2）

wtxx8888

fghfdg 发表于 2025-1-27 23:01
能跑就行，我用笔记本来跑512的遮罩。手上有两个迭代八百多万的512遮罩，加上自己的轨迹图训练。（笔记本 ...

512遮罩确实难练。