deepseek R1本地部署2种最简方法

deepseek R1本地部署2种最简方法

1. LM studio部署

简单,易用,免费,配备UI界面,但是闭源程序。

1.1 操作步骤: 官网下载 https://lmstudio.ai/ ,默认安装,下载模型等非常简单,操作省略。

1.2 解决LM studio上无法下载模型:因对接的是huggingface进行下载,经常失效,即使有魔法网络。

  • 找到安装路径,通常为C:\Users\Administrator\AppData\Local\Programs\LM Studio
  • 用vscode打开 LM Studio文件夹,在vscode侧面进行 “搜索” “ 替换”
  • 把 huggingface.co 全部替换成 hf-mirror.com ,保存,然后重启LM studio

2. ollama,conda,python安装

此步为基础工作。

2.1 ollama安装:官网https://ollama.com/  

2.2 cmd命令行:

ollama   #有反馈说明成功
ollama list   #查看模型清单
ollama run deepseek R1:1.5b   #拉取并安装某个模型,“deepseek R1:1.5b”是模型名称,根据需要更改.

为了让 DeepSeek 模型通过 Ollama 对外提供服务,我们需要设置一个环境变量。例如,在 CMD(或在批处理脚本中)输入:

set OLLAMA_HOST=0.0.0.0:11434

这意味着 Ollama 将 DeepSeek 模型监听在 0.0.0.0(所有网络接口)上的 11434 端口。

2.3 在浏览器输入127.0.0.1:11434,显示Ollama is running,说明ollama正常运行,同时可在CMD框来和deepseek进行聊天。

ctrl+D可退出speedseek,进入cmd命令。

2.4 给deepseek添加openwebui界面:(重点)

2.4.1 安装codna:它用来管理python版本和依赖包。

2.4.2 安装python:https://docs.anaconda.com/miniconda/install/

创建独立环境,避免各种包冲突。

conda create -n openwebui python=3.11 -y #这条命令创建了一个名为 openwebui 的环境,并安装了 Python 3.11。

激活环境:

conda activate openwebui

此时你在命令提示符前看到 (openwebui),说明你已经进入这个专用环境。

确认python版本:

python --version

3.部署open webui

pip install open-webui
open-webui serve
pip install --upgrade open-webui

运行后,在浏览器输入0.0.0.0:8080,进入UI界面

4.如何启动

4.1 编写openwebui启动脚本,快捷方式
@echo off
chcp 65001
title 启动 OpenWebUI

:: 激活 Conda 环境
echo 正在激活 Conda 环境...
call conda activate openwebui
echo Conda 环境已激活,启动 Open WebUI...

:: 启动 Open WebUI
start /b open-webui serve

:: 等待 3 秒钟,确保 WebUI 启动
timeout /t 3

:: 启动默认浏览器并访问本地 IP 地址的 WebUI 页面
echo 正在打开浏览器...
start http://192.168.0.107:8080

exiti

注意脚本中的192.168.0.107要改成自已电脑的IP地址,端口不变。

把脚本放在openwebui的目录。运行pip show open-webui命令,找到安装目录,然后把bat的脚本放到该目录,下次双击即可启动。

4.2 CMD命令运行

conda activate openwebui
open-webui serve

5.如何删除安装文件

首先激活conda环境

conda activate openwebui

卸载open-webui

pip uninstall open-webui

删除openwebui为名的conda环境

conda deactivate
conda remove -n openwebui --all

通过控制面板卸载ollama, Conda.(若用conda安装的python,卸载conda时python自动删除)

删除 C:\Users\Administrator\ 下没卸载彻底的相关项。


评论

  1. 为什么在openwebui上使用DS的时候,上传图片之后问问题识别不出来

    回复删除

发表评论