ollama导入gguf模型问题

燕翎风

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

本人下载了千问3.5-9b的破限版，想要导入ollama。

现在遇到了问题，请问下各位大佬，如何把gguf导入ollama，并让ollama可以识别图片。
之前本人使用modelfile编辑内容为FROM 和ADAPTH的方法，在之后运行时候报错error500.

ccctttccct

首先要知道该模型是不是支持视觉功能，第二要知道量化的时候是不是把视觉功能阉割了，第三你去模型仓库看一看，是不是视觉功能在仓库里，把他下下来。我查了一下9b是支持视觉的，不过一般破限版，不知道你用的是那种破限，量化后都是去除视觉功能的，你可以去其他9b的gguf量化下去下载视觉功能。视觉功能的文件名一般都是mmproj-model.gguf这样的格式。