本地部署 DeepSeek(自定义盘符安装+构建可视化)
本文发布于 146 天前,本文最后更新于 79 天前,其中的信息可能已经过时,如有错误请发送邮件到 firewormq@qq.com

相关文件下载

Ollama 安装包 + Docker 安装包:本地部署 DeepSeek (自定义盘符安装 + 构建可视化) 资源.zip

1.Ollama 安装 (自定义盘符安装)

(1)官网下载:(Ollama)

  • 这里以 Windows 版本为例 (自定义盘符安装,默认是 C 盘)

下载完成后在搜索栏输入 cmd 打开终端窗口,输入以下代码:

OllamaSetup.exe /DIR=D:\AI\Ollama

参数说明

  • OllamaSetup.exe:安装程序执行文件
  • /DIR = 路径地址:命令参数,指定安装目录。

执行完命令后点击 Install 进行下载后即可以看到安装路径为自定的路径。

(2)添加环境变量

  • 添加 PATH
D:\AI\Ollama
  • 添加系统变量
变量名:OLLAMA_MODELS
变量值:D:\AI\Ollama\.ollama

(3)刷新环境变量

方法一:重启

方法二:命令行窗口代码执行

taskkill /f /im Explorer.exe && start Explorer.exe

参数说明

  • taskkill:结束指定进程。
  • /f:命令参数,表示强制结束进程
  • /im 进程名称:命令参数,指定进程的名称
  • &&:命令链接符
  • start 进程名称:启动进程

测试环境

命令行窗口代码执行以下代码运行如下即可代表成功

ollama

2. 模型下载

进入官网地址:https://ollama.com/library/deepseek-r1

模型版本参数量特点适用场景硬件配置
DeepSeek-R1-Distill-1.5B1.5B 轻量级蒸馏模型,低算力需求,支持多语言,量化优化显存占用轻量级文本生成、简单代码编写、入门级 AI 应用显存 2-4GB,内存 8GB,普通 CPU(如 Ryzen 5)
DeepSeek-R1-Distill-7B7B 中等规模蒸馏模型,推理效率高,支持本地化部署中等复杂度对话、代码辅助、轻量级数据分析显存 8-12GB,内存 16GB,中端 GPU(如 RTX 3060)
DeepSeek-R1-Distill-8B8B 平衡性能与资源占用,支持长文本处理,优化多任务泛化能力中等规模文本生成、多轮对话、基础代码生成显存 10-14GB,内存 24GB,中高端 GPU(如 RTX 3080)
DeepSeek-R1-Distill-14B14B 高性能蒸馏模型,多轮对话能力强,接近 GPT-3.5 性能复杂技术文档分析、多轮对话、企业基础应用显存 16-24GB(推荐 RTX 3090/A100),内存 32GB,高性能 CPU(如 i7/Ryzen 7)
DeepSeek-R1-Distill-32B32B 企业级蒸馏模型,支持高精度推理,多语言混合任务优化企业知识库管理、法律 / 金融文档分析显存 48GB+(需多 GPU 并行),内存 64GB,服务器级 CPU(如 Xeon)
DeepSeek-R1-Distill-70B70B 专业级蒸馏模型,性能接近 GPT-4,支持超长上下文理解专业级 AI 服务、科研级 NLP 任务、复杂决策支持显存 64GB+(多 A100/H100 集群),内存 128GB+,多路服务器 CPU(如 EPYC)
DeepSeek-V3671B(MoE)混合专家架构(MoE),多模态支持(图文生成),性能对标 GPT-4 智能客服、多模态内容生成、大规模 NLP 任务显存 80GB+(多 A100/H100 并行),内存 256GB+,服务器级 CPU(如 Xeon)
DeepSeek-R1-671B671B 超大规模非 MoE 架构,分布式计算优化,支持超长序列训练科研级 AI 研究、分布式训练、超大数据处理多 GPU 集群(如多 A100/H100),内存 256GB+,多节点服务器

选择指定模型复制命令 (可根据硬件设施选择指定模型,我这里选择的是 8b 模型)

ollama run deepseek-r1:8b

等待下载完成后即可进行模型对话

3. 构建可视化

类别项目名称仓库地址特点
大语言模型(LLM)交互界面 Open WebUI (原名 Ollama WebUI)open-webui 轻量级 Web UI,类似 ChatGPT,支持多模型切换、聊天记录管理、Markdown 渲染,适合本地部署。
Chatbot UIchatbot-ui 仿 ChatGPT 界面,支持 OpenAI API 或本地模型,支持自定义提示词、聊天记录导出。
AnythingLLMAnythingLLM 企业级 LLM 交互界面,支持知识库管理、多用户协作,适合企业应用。
NextChat (原名 ChatGPT-Next-Web)ChatGPT-Next-Web 支持 OpenAI、Gemini、Claude 等模型,界面简洁,支持多语言,适合快速部署。
图像生成(Stable Diffusion)界面 ComfyUIComfyUI 基于节点式工作流,灵活可视化操作,适合高级用户和研究。
Stable Diffusion WebUIstable-diffusion-webui 功能全面的 Stable Diffusion 界面,支持文生图、图生图、LoRA 训练,插件生态丰富。
InvokeAIInvokeAI 专业级图像生成工具,界面友好,内置模型管理和工作流优化。
多模态与语音交互 Leon.aileon-ai 开源个人助手,支持语音交互、自动化任务(如邮件处理、日历管理),可集成 GPT、Whisper 等模型。
H2O LLM Studioh2o-llmstudio 专注于 LLM 微调和部署的可视化工具,支持数据预处理、训练监控,适合开发者快速迭代模型。
知识库与自动化工具 FastGPTFastGPT 基于 LLM 的知识库问答系统,支持私有化部署,适合企业级应用。
LangfuselangfuseLLM 应用开发的全栈监控平台,支持请求追踪、成本分析和效果评估,适合开发团队优化 AI 应用。

搭建 AnythingLLM

进入 AnythingLLM 官网地址:https://anythingllm.com/desktop

根据需求进行下载安装并运行

搜索并选择 Ollama,在运行 Ollama 的状态下,AnythingLLM 会自动检测模型。

一直下一步即可创建 New Thread 进行愉快的对话了。

搭建 Open WebUI(推荐!)

安装 docker 前期工作

启用虚拟化与 Hyper-V

  • 检查虚拟化状态: 打开任务管理器(Ctrl+Shift+Esc)→ 切换到 “性能” 标签 → 查看 “虚拟化” 是否显示 “已启用”。若未启用,需进入 BIOS/UEFI 设置中开启虚拟化(如 Intel VT-x 或 AMD-V)910。
  • 启用 Hyper-V 和 WSL 功能: 控制面板 → 程序 → 启用或关闭 Windows 功能 → 勾选 Hyper-V适用于 Linux 的 Windows 子系统 → 重启电脑
  • 重启电脑:使虚拟化Hyper-V 生效

安装 docker

https://www.docker.com

https://desktop.docker.com/win/main/amd64/Docker%20Desktop%20Installer.exe

下载完成后在搜索栏输入 cmd 打开终端窗口,输入以下代码:

"Docker Desktop Installer.exe" install --installation-dir="D:\Docker"

参数解析:

  • "Docker Desktop Installer.exe":要运行的程序,即 Docker Desktop 的安装程序。
  • install:指定要执行的操作是安装 Docker Desktop。
  • –installation-dir="D:\Docker:指定 Docker Desktop 的安装目录为 D 盘的 Program Files\Docker 文件夹。

手动配置选配,点击 (OK)

等待安装完成…

点击 close

为 docker 创建硬链接(需以管理员模式运行 powershell)

move "C:\Users\$env:USERNAME\AppData\Local\Docker" "D:\AI\";cmd /c mklink /D "C:\Users\$env:USERNAME\AppData\Local\Docker" "D:\AI\Docker"

参数解析:

  • move:移动文件夹或文件到指定位置。
  • ;:命令结束符号,按顺序执行。
  • cmd /c mklink /D "C:\Users\$env:USERNAME\AppData\Local\Docker" "D:\Docker":创建硬链接符到”D:\Docker”,以防 docker 文件过大导致 C 盘资源紧张。
    • cmd:以 cmd 的形式运行后面一条命令。
    • /c:运行后关闭 cmd 命令窗口。
    • mklink:创建连接符。
    • -D:创建硬链接。
    • $env:USERNAME:引用当前登录的用户名。

打开 Docker Desktop—>Accept—>Continue without signing in—>Skip

拉取 Open WebUI 镜像

打开 Powershell(WIN+R—>Powershell)

docker run -d -p 80:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

等待下载完成…

参数解析:

  • docker run:创建并启动一个新的容器。
  • -d:以 “后台模式” 运行容器,终端不阻塞,容器在后台运行。
  • -p 80:8080:将宿主机的 80 端口映射到容器的 8080 端口,外部通过 http://宿主机IP:80 访问容器服务。
  • --add-host=host.docker.internal:host-gateway:向容器的 /etc/hosts 文件添加自定义主机名解析。
    • host.docker.internal 是容器内用于访问宿主机的主机名
    • host-gateway 表示宿主机的网关地址(通常是 172.17.0.1))
  • -v open-webui:/app/backend/data:数据卷挂载,实现容器数据持久化。
    • open-webui:宿主机上的命名卷(Docker 自动管理,默认路径为 /var/lib/docker/volumes/open-webui)。
    • /app/backend/data:容器内的目标目录。
  • --name open-webui:为容器指定名称 open-webui,便于后续管理(如启动、停止、日志查看等)。
  • --restart always:设置容器的重启策略。
    • always:无论容器因何退出,总是自动重启(除非手动停止)。
  • ghcr.nju.edu.cn/open-webui/open-webui:main:南京大学的镜像仓库地址(如果慢的话可以选择其它镜像库地址)。

Open WebUI 配置

注意:Ollama 得为启动状态,Open WebUI 将会自动导入 deepseek8b 模型。

访问本地 localhost(可能加载会慢一点不要着急)

根据提示创建管理员账号,创建完成即可进行对话。

意外状况及方法解决

1. 拉取 Open WebUI 镜像过慢

切换命令中的镜像源地址,以下镜像地址来源于网络,希望有帮助。

(1). docker.xuanyuan.me
(2). docker.1ms.run
(3). hub.rat.dev
(4). docker.wanpeng.top
(5). doublezonline.cloud
(6). docker.mrxn.net
(7). docker.anyhub.us.kg
(8). dislabaiot.xyz
(9). docker.fxxk.dedyn.io
(10). docker-mirror.aigc2d.com
(11). docker.sunzishaokao.com
(12). xdark.top
(13). docker.linkedbus.com
(14). dockerhub.icu

2.docker 不能正常启动

检查安装 docker 前期工作是否完成

附录:

1. 后期如果需要移动存放 Docker 的文件夹的话硬链接会失效,则需重新配置硬链接。

2. 企业级搭建,个人私有化部署(点击跳转

注:本文章和工具 (该工具为网络资源非本人开发) 仅供学习和研究使用,请勿使用项目的技术手段用于非法用途,任何人造成的任何负面影响,与本人无关.

文章来源:https://fireworm.cc

0
https://www.fireworm.cc/2025/02/19/%e6%9c%ac%e5%9c%b0%e9%83%a8%e7%bd%b2-deepseek%e8%87%aa%e5%ae%9a%e4%b9%89%e7%9b%98%e7%ac%a6%e5%ae%89%e8%a3%85%e6%9e%84%e5%bb%ba%e5%8f%af%e8%a7%86%e5%8c%96/
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇