Dify大模型,如何设置系统推理模型?非webapp
发布于 作者:苏南大叔 来源:程序如此灵动~

苏南大叔继续聚焦于dify
系统的大模型设置,在设置里面有个大模型供应商,可集成各种大模型进去。目前来看,这些大模型有两个用途,第一个是最常见的建立某个基于dify
的app
,用于给终端用户。第二个是就是用于dify
系统自身功能的,用于给开发人员。那么,后者就是本文要讨论的情况。
苏南大叔的“程序如此灵动”博客,记录苏南大叔的代码编程经验总结。测试环境:win10@22h2
,docker@28.0.4
,dify@1.3.1
。
前文回顾
首先,需要有个dify
系统。参考:
然后,需要对dify
系统配置大模型供应商。参考:
苏南大叔实际上配置了两个deepseek-r1
,分别是基于ollama
供应商(本地)的,另外一个是基于deepseek
供应商(远程)的。实际使用效果上,本地的deepseek
是反应比较慢的,而远程的deepseek
是效果相对较好的。
问题描述
建立一个新的应用的时候,在写提示词的时候,可以自己写,也可以请系统写。当使用系统写的时候,就涉及到要提供一个可用的大模型的问题。默认出现的ollama
的deepseek
,很慢。
在该界面上,这个提示词生成器里面的“deepseek”,是无法切换的。这有点不科学。
切换系统推理模型
在下面的路径中进行切换,路径如下:"设置"=>"大模型供应商"=>"系统大模型"。如图所示:
然后再切换回dify
系统写提示词的界面,就会发现已经被切换了。
当然,这里除了“系统推理”所使用的大模型外,还有其他的系统使用的大模型,例如:Embedding
模型,Rerank
模型,语音转文本模型,文本转语音模型等等。如果需要,都是同一个位置进行设置的。
结语
更多dify
的相关经验文字,请点击苏南大叔的博客:


