ollama如何启动deepseek模型?大模型部署和运行
发布于 作者:苏南大叔 来源:程序如此灵动~
大模型时代的到来,让人人都变得更加高效。如果手里没有目前最厉害的deepseek
大模型,都不好意思出门。对吧?今天本文就描述如何利用ollama
部署并运行deepseek-r1@7b
。7b
的意思就是70亿
参数,大概5G
大小。
苏南大叔的“程序如此灵动”博客,记录苏南大叔的代码编程经验总结。本文测试环境:win10
,ollama@0.5.7
,deepseek-r1:7b
。
安装ollama
Ollama
是一款大模型工具,专门设计用于在本地机器上便捷部署和运行大型语言模型(LLM
)。
ollama
官网下载:
ollama
的llama
,在西班牙语里面是“羊驼”的意思。所以,它的logo
是个羊驼。
设置模型位置
ollama
默认情况下,会把模型保存到C:\Users\<user>\.ollama\models
位置。这个位置比如是不合适的,所以,可以设置一个全局变量OLLAMA_MODELS
,来自定义一下下载的模型位置。
设置之后,如果没有生效,记得重启ollama.exe
。(托盘区有个小图标的,点击可以菜单退出)
拉取大模型 ollama pull
ollama pull deepseek-r1:7b
仅拉取到本地,不运行。实际上这个拉取pull
命令包含在运行run
命令里面,所以,存在感不高。
运行大模型 ollama run
ollama run
承载的任务是:下载和运行大模型。本地存在就运行大模型,不存在就直接从ollama
网站上自动下载到本地。比如:本文的需求是下载deepseek-r1:7b
。命令可以参考ollama.com
官方:
命令是:
ollama run deepseek-r1:7b
列表本地 ollama list
下载到本地的大模型,实际的目录是环境变量OLLAMA_MODELS
所指的位置。在这个list
命令里面会有所列出。
ollama list
删除大模型 ollama rm
假如这里要删除大模型deepseek-r1:7b
,可以使用下面的命令:
ollama rm deepseek-r1:7b
gguf 模型格式
ollama
也支持直接从hf.co
/huggingface.co
/hf-mirror.com
上下载.pugg
格式的大模型(前提是这个大模型格式是gguf
)。
比如:
ollama run hf-mirror.com/ValueFX9507/Tifa-Deepsex-14b-CoT-GGUF-Q4
对比huggingface
的模型格式的话,就会明显发现:平时下载的huggingface
大模型,和ollama
大模型格式完全不同。两者不兼容,不通用。虽然huggingface
网站上也有gguf
格式的大模型下载。但是,明显是占少数的。
如果下载huggingface
上的gguf
格式大模型,也不要使用git clone
或者huggingface-cli
下载。因为下载回来再识别的话,ollama
操作也是比较麻烦的。
相关文章
结语
更多人工智能文章,可以参考苏南大叔的博客:


