我们相信:世界是美好的,你是我也是。平行空间的世界里面,不同版本的生活也在继续...

大模型时代的到来,让人人都变得更加高效。如果手里没有目前最厉害的deepseek大模型,都不好意思出门。对吧?今天本文就描述如何利用ollama部署并运行deepseek-r1@7b7b的意思就是70亿参数,大概5G大小。

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama-deepseek
ollama如何启动deepseek模型?大模型部署和运行(图8-1)

苏南大叔的“程序如此灵动”博客,记录苏南大叔的代码编程经验总结。本文测试环境:win10ollama@0.5.7deepseek-r1:7b

安装ollama

‌Ollama是一款大模型工具,专门设计用于在本地机器上便捷部署和运行大型语言模型(LLM)。

ollama官网下载:

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama下载安装
ollama如何启动deepseek模型?大模型部署和运行(图8-2)

ollamallama,在西班牙语里面是“羊驼”的意思。所以,它的logo是个羊驼。

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama羊驼
ollama如何启动deepseek模型?大模型部署和运行(图8-3)

设置模型位置

ollama默认情况下,会把模型保存到C:\Users\<user>\.ollama\models位置。这个位置比如是不合适的,所以,可以设置一个全局变量OLLAMA_MODELS,来自定义一下下载的模型位置。

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - 环境变量ollama
ollama如何启动deepseek模型?大模型部署和运行(图8-4)

设置之后,如果没有生效,记得重启ollama.exe。(托盘区有个小图标的,点击可以菜单退出)

拉取大模型 ollama pull

ollama pull deepseek-r1:7b

仅拉取到本地,不运行。实际上这个拉取pull命令包含在运行run命令里面,所以,存在感不高。

运行大模型 ollama run

ollama run承载的任务是:下载和运行大模型。本地存在就运行大模型,不存在就直接从ollama网站上自动下载到本地。比如:本文的需求是下载deepseek-r1:7b。命令可以参考ollama.com官方:

命令是:

ollama run deepseek-r1:7b

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama-run
ollama如何启动deepseek模型?大模型部署和运行(图8-5)

列表本地 ollama list

下载到本地的大模型,实际的目录是环境变量OLLAMA_MODELS所指的位置。在这个list命令里面会有所列出。

ollama list

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama-list
ollama如何启动deepseek模型?大模型部署和运行(图8-6)

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - ollama-run-通义千问
ollama如何启动deepseek模型?大模型部署和运行(图8-7)

删除大模型 ollama rm

假如这里要删除大模型deepseek-r1:7b,可以使用下面的命令:

ollama rm deepseek-r1:7b

gguf 模型格式

ollama也支持直接从hf.co/huggingface.co/hf-mirror.com上下载.pugg格式的大模型(前提是这个大模型格式是gguf)。

苏南大叔:ollama如何启动deepseek模型?大模型部署和运行 - 单文件gguf
ollama如何启动deepseek模型?大模型部署和运行(图8-8)

比如:

ollama run hf-mirror.com/ValueFX9507/Tifa-Deepsex-14b-CoT-GGUF-Q4

对比huggingface的模型格式的话,就会明显发现:平时下载的huggingface大模型,和ollama大模型格式完全不同。两者不兼容,不通用。虽然huggingface网站上也有gguf格式的大模型下载。但是,明显是占少数的。

如果下载huggingface上的gguf格式大模型,也不要使用git clone或者huggingface-cli下载。因为下载回来再识别的话,ollama操作也是比较麻烦的。

相关文章

结语

更多人工智能文章,可以参考苏南大叔的博客:

如果本文对您有帮助,或者节约了您的时间,欢迎打赏瓶饮料,建立下友谊关系。
本博客不欢迎:各种镜像采集行为。请尊重原创文章内容,转载请保留作者链接。

 【福利】 腾讯云最新爆款活动!1核2G云服务器首年50元!

 【源码】本文代码片段及相关软件,请点此获取更多信息

 【绝密】秘籍文章入口,仅传授于有缘之人   ai    ollama