【神农汉化】RG | DML | FP16 非常重要的测评

Lau9

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

2024/3/22 更新：

TF模式	RG	BS	FP16	时间ms
CUDA	开	8		320
CUDA		8		250
DX12		8		235
DML	开	8		350
DML		8		250
CUDA	开	192		3650
CUDA		192	开	3200能开但是中途崩掉了
DML	开	192		7200
CUDA	开	192	开	3320
CUDA		160	开	1920
DML		160	开	3950
DX12		90		开不起
CUDA		96	开	1200
CUDA		90		开不起
DX12		32		780
CUDA		32		535
CUDA		32	开	465
DML		32		825
DML		32	开	780
DML	开	32		1220
CUDA	开	32		735
CUDA	开	256	开	4550
CUDA	开	320	开	6300

新增了FP16这个变量。

结论是：
1.FP16一定会提高BS上限

2.FP16对速度的提升非常轻微。不到一成

3.所以我打算保留这个参数，虽然不建议使用。
有没有可能导出dfm和直播的时候也节约显存呢？

----------------------------------------------------------------------
2024/3/20:

dx12我不详细介绍了，我打算舍弃掉独立的model mlnet.py
一律用DML的python环境来实现无痛切换（DX12和DML的区别在于前者能显示A卡或N卡，后者一律显示“DML”。前者显存正常，后者显存虚高）

关于【RG优化】的结论：
1.确实很影响速度，这点出乎了我的意料，迭代耗时大概是150%
2.确实对BS的提升非常大。提高50~100%的BS

关于DML的结论：
1.略微比DX12慢，但是可以忽略不计
2.其实DX12是开不了【RG优化】的，但是DML可以
3.DML和RG同时开的时候有可能会比较慢。目前看来BS越小差距越小，BS越大差距越大。

综上所述，我打算完全引用DML，使整合包节省一大半的空间。也有利于版本的统一
（不然dx12和cuda的代码不同，
导致我这次升级1.8.6的时候，dx12还停留在1.5.4。
而dml可以直接使用cuda的代码）

接下来我对于原版和MVE版 都会有重大优化！
灵活开关RG是重中之重

Lau9

表格 最后一个被挡住的数值是735。

关于RG这个简称，跟函数名相关。
时间换显存并不是翻译它的字义（别拿这个事来吐槽我），只是方便大家理解罢了。

pasanonic

大佬如此重视a卡玩家们，致敬

x777

N卡路过。

wzx945

支持，A卡玩家望眼欲穿

大长卿

大佬很用心，不断的更新迭代，很重视用户体验

Lau9

备注：虽然DML的显存会虚高2倍以上，但不意味着可以开更大的BS。

倒是可以DML+RG来开启更大BS，之前测试过RG和FP16同时开启的效果不好。我再测一下，如果确认了，可能图表会更新一版，然后全面永久封杀FP16

Lau9

pasanonic 发表于 2024-3-20 08:27
大佬如此重视a卡玩家们，致敬

如果耽误正事，我确实打算放弃。但好消息是通过DML链接，模型架构的代码是不需要更改的，举手之劳 顺水推舟

Lau9

完结了关于性能的探究

探险者军哥

膜拜大神