模型量化工具

sdlou

如标题所述，该模型可以将flux大模型或基于flux的大模型量化成gguf格式的模型

在节省内存的同时大大加快在小显存上的运行速度
推荐参数：8g显存建议量化为Q4_0
12g为Q4_K_S
使用方法：1.解压压缩包，运行 EasyQuantizationGUI.bat 以启动应用程序
2.选择量化级别
3.选择输入模型与输出路径
4.点击运行
实测大概5到六分钟完成量化

zzwei200

这个有点意思，支持一下

zzwei200

需要安装Python，另外需要翻墙自动下载一些文件，建议将完整文件打包，能翻墙的可以直接去github下载最新的1.11版，不能翻墙的楼主这个简易包毫无用处

Cxsmo

is there a way to use this to quantize dfl rope type onnx xseg model and also dfms