ollama导入gguf模型问题

燕翎风

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

本人下载了千问3.5-9b的破限版，想要导入ollama。

现在遇到了问题，请问下各位大佬，如何把gguf导入ollama，并让ollama可以识别图片。
之前本人使用modelfile编辑内容为FROM 和ADAPTH的方法，在之后运行时候报错error500.

ccctttccct

首先要知道该模型是不是支持视觉功能，第二要知道量化的时候是不是把视觉功能阉割了，第三你去模型仓库看一看，是不是视觉功能在仓库里，把他下下来。我查了一下9b是支持视觉的，不过一般破限版，不知道你用的是那种破限，量化后都是去除视觉功能的，你可以去其他9b的gguf量化下去下载视觉功能。视觉功能的文件名一般都是mmproj-model.gguf这样的格式。

燕翎风

ccctttccct 发表于 2026-5-12 10:35
首先要知道该模型是不是支持视觉功能，第二要知道量化的时候是不是把视觉功能阉割了，第三你去模型仓库看一 ...

感谢大佬，已经改用lmstudio了，我的是模型文件和对应的投影文件。在lmstudio解决了，不过还是感谢

day270010678

呃 千问模型需要破限吗？这都是公开的模型，直接下载本地加载不好吗？什么时候这个玩意需要...破限是什么意思？破解的意思吗？ 其实你如果是针对视频之类的话，用wan最好的，如果你是文本的话比方说小说ai，数学计算，代码编辑可以考虑千问模型的

燕翎风

day270010678 发表于 2026-5-19 23:55
呃 千问模型需要破限吗？这都是公开的模型，直接下载本地加载不好吗？什么时候这个玩意需要...破限是什么意 ...

无限制