背景需求:博主希望在同一台主机上部署Dify+Ollama+Deepseek和AI绘图ComfyUI,在编写Dify文生图工作流中,Deepseek生成文本后立刻执行AI绘图。此时Ollama并未卸载Deepseek模型,内存和显存依旧有占用,这会影响AI绘图速度,所以通过HTTP请求的方式联系Ollama卸载模型

具体实现:

1.请求地址:http://Ollama地址:端口/api/generate

因为博主的Dify是在docker容器中运行,所以Ollama地址要用host.docker.internal

2.请求方式:POST

3.请求体:JSON

{"model": "deepseek-r1:8b", "keep_alive": 0}

model:目标模型名称

keep_alive:0立即卸载,-1永不卸载

Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐