分享Docker部署deepseek-R1本地大模型的教程,并推荐个可以加速Hugging Face下载的项目。

Docker部署deepseek-R1本地大模型的教程

使用docker部署OpenUI + Ollama + DeepSeek-R1:7B,通过浏览器访问OpenUI进行交互。部署完成后可以离线使用DeepSeek-R1大模型。

OllamaDeepSeek-R1大模型官网:deepseek-r1:7b

  • 1.5B:CPU最低4核,内存8GB+,若GPU加速可选4GB+显存,适合低资源设备部署等场景。

  • 7B:CPU 8核以上,内存16GB+,硬盘8GB+,显卡推荐8GB+显存,可用于本地开发测试等场景。

  • 8B:硬件需求与7B相近略高,适合需更高精度的轻量级任务。

  • 14B:CPU 12核以上,内存32GB+,硬盘15GB+,显卡16GB+显存,可用于企业级复杂任务等场景。

  • 32B:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存,适合高精度专业领域任务等场景。

  • 70B:CPU 32核以上,内存128GB+,硬盘70GB+,显卡需多卡并行,适合科研机构等进行高复杂度生成任务等场景。

部署教程

open-webui镜像大小:7 GB

docker-compose.yml配置示例

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - ./ollama:/root/.ollama
      - ./open-webui:/app/backend/data
    restart: always

镜像里已经包含了ollama

国内网络环境可以使用南京大学 ghcr 镜像加速ghcr.nju.edu.cn

进入容器内安装DeepSeek-R1 7b模型:

docker exec -it open-webui sh
ollama run deepseek-r1:7b

deepseek-r1:7b模型文件有4.7个G,需要耐心等待
部署完成后浏览器访问3000端口使用web面板进行对话,如果需要域名访问反代一下即可。

实测AMD 780m核显笔记本能正常跑7B模型

32 个赞

感谢分享

2 个赞

感谢分享

感谢分享

谢谢分享

感谢佬友分享

感谢大佬分享

感谢大佬分享

先mark 后面捣腾看看

感谢佬的分享,部署下试试看

刚试了 国内的镜像拉取 建议 换成 ghcr.nju.edu.cn/open-webui/open-webui:ollama 拉取的快些 :laughing:

2 个赞

谢谢佬友分享~

32g内存的核显能跑不,CPU13900H,跑最低的模型tieba_009

感谢分享。我openwebui从非ollama版本修改compose文件直接切换成带ollama版本,原来的数据库和用户账号/历史记录都能直接继承吗?

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。