零基础本地部署DeepSeek：Ollama跑通与显存选型

简介：这份PDF文档聚焦本地部署DeepSeek大语言模型，面向希望保障敏感数据安全、掌握模型完整权限并实现垂直场景定制的开发者、企业IT人员与AI技术爱好者。内容从DeepSeek的功能特点与本地化优势切入，系统梳理硬件选型、显存与内存配置建议，以及Ollama、CUDA Toolkit等软件准备要点，并给出可对照执行的部署流程、常见问题排查思路与结合其他工具的进阶应用方向。文中还结合医疗辅助诊断、金融风控、教育资源推荐等场景说明模型落地方式，便于读者按业务需求调整配置、优化推理效率。文档结构由浅入深，兼顾入门理解与实操落地。包内共1个PDF文件，大小约586KB，轻量便于查阅与随取随用；已有701人学习，适合想从在线服务转向私有化AI部署、并希望获得完整实施指南的技术人员参考。

1. 先把话说白：本地部署 DeepSeek 到底是在干什么

你大概率用过网页版 AI 对话：敲一句话，等两秒，答案一个字一个字往外蹦。可你有没有想过，你粘进去的合同、病历、报价单、还没发表的稿子，在这两秒里去了哪儿？它们离开了你的电脑，进了别人的机房，算完再送回来。本地部署 DeepSeek 大语言模型，就是把这条链路整个搬回你自己这台机器——模型文件躺在你的硬盘上，计算烧的是你的显卡，输入输出全程不出门，等于给自己搭了一个专属、安全、可控的人工智能应用。适合谁？手里有不能外传的资料、又不想被在线服务的额度、价格和规则牵着走的人。这篇不聊训练原理，只带你从零把第一个模型跑起来。

2. 三个概念先搞懂：模型、运行框架、显存，别急着敲命令

新手最容易犯的错，是打开教程就照着抄命令，抄到一半卡住，然后不知道卡在哪一层。其实整个事情只有三个零件：一个叫「模型」的大文件、一个叫「运行框架」的软件、一块叫「显存」的硬件资源。把这三个词的关系捋顺，后面所有报错你都能自己定位。

2.1 大语言模型是一个几 GB 的文件，不是网站

很多人以为模型是一个服务、一个网站、一个 App。不是。DeepSeek 这类大语言模型，落到你硬盘上就是一堆数字——几十亿个参数，被打包成几 GB 的文件。所谓「参数量 1.5B」，就是这个文件里有 15 亿个参数，B 是 Billion 的缩写。参数越多，模型体积越大，处理复杂任务的本事越强，同时对硬件越挑。

它干活的方式也很朴素：给它一段话，它根据前面出现过的词，预测下一个最可能出现的词，预测完再预测下一个，一个词一个词往外吐。这就是自然语言处理里最基础的生成逻辑。它不查数据库、不做检索，全部靠那几十亿个参数里「记住」的规律。理解了这一点，你就明白为什么它有时候会一本正经地胡说——它是在猜下一个词，不是在核对事实。

这个「猜」的特性决定了两件事。第一，同一句话问两遍，回答可能不一样，这不是坏了，是正常现象。第二，它不知道你的私有资料，除非你把资料塞给它。很多新手第一次用就指望它回答公司内部制度，结果它编得头头是道，这就是没搞清「模型自带的知识」和「你手上的资料」是两回事。

入门阶段你只需要记住一个数字：模型文件有多大，下载就要下多久，运行时就要占多少资源。1.5B 版本大概 1.2GB，7B 大概 4.7GB，14B 大概 9.5GB。这几个数字后面会反复用到。

2.2 Ollama 是播放器，DeepSeek 是片子

拿到一个 mp4 文件，你得有播放器才能看。模型也是这个道理，光有一个几 GB 的文件放在硬盘上，电脑不知道该怎么加载它、怎么把它塞进显卡、怎么接收你的提问。Ollama 就是那个播放器。

它干四件事：帮你从模型仓库把文件下载下来、把文件加载进内存和显存、在本机的 11434 端口开一个接口接收你的问题、管理你装过的多个模型版本。一条命令就能完成下载和启动，不用你自己配 Python 环境、不用手写加载代码、不用管依赖冲突。对零基础的人来说，这是目前最短的一条路。

我把它理解成「遥控器」也挺贴切：模型是电视里的节目，Ollama 是遥控器，你按按钮，它负责换台。你不需要知道电视内部怎么解码，按对了键就行。

提示：Ollama 支持 Windows、macOS、Linux 三个系统，安装包都在官网下载。装完之后它会在后台常驻运行，关掉命令行窗口不影响它工作。

这里有个常见的误解要提前拆掉：很多人以为装了 Ollama 就有模型了。不是。装完 Ollama，你手上只有播放器，还得单独去「拉」一个模型文件下来。这一步是新手第一次卡壳的高发区，后面第 3 章会一步一步走。

2.3 显存决定快慢，内存决定能不能跑起来

这是整篇文章里最值得你花十分钟搞懂的一段。

显存是显卡上自带的内存，速度极快，是专门给图形计算和并行计算用的。模型运行时，会优先把自己整个塞进显存里。塞得进去，推理速度飞快；塞不进去，系统就会把一部分计算转到内存和 CPU 上，速度会掉一个档次，慢到你可能以为程序卡死了。

内存是主板上插的那根，容量大但速度慢。它决定的是「能不能跑起来」——内存不够，模型加载到一半就失败，或者跑起来之后频繁卡顿、响应迟缓。

这两者的区别可以用一句话记住：显存不够是「慢」，内存不够是「崩」。

还有一个词你一定会看到：GPU 加速。意思就是让显卡参与计算，而不是全靠 CPU。同样是跑 7B 模型，有 GPU 加速可能几秒出结果，没有的话可能几十秒。如果你用的是带独立显卡的机器，装好显卡驱动之后，Ollama 一般会自动认出来并用上，不需要你做额外配置。这一步是深度学习工具链这几年进步最大的地方，早几年还得自己编译，现在基本是装完即用。

下面这张表是入门阶段最实用的一张，对着自己的机器看一眼就能选版本：

再往上的 32B 版本，对显存的要求至少要 16GB，想要稳定高效地跑，建议 32GB 及以上，内存也建议 32GB 起步。零基础阶段完全不用碰它，先把小的跑通，比什么都重要。

2.4 五分钟自检：你的电脑该选哪个版本

在下载任何东西之前，先花五分钟把自己的家底摸清楚。这一步花的时间，能帮你省掉后面几个小时的反复重装。

Windows 用户打开 PowerShell，输入下面这行：

# 列出显卡型号，看自己有没有独立显卡 Get-CimInstance Win32_VideoController | Select-Object Name, AdapterRAM

macOS 和 Linux 用户打开终端：

# macOS：看内存总量，返回的是字节数，除以三次 1024 就是 GB sysctl -n hw.memsize # Linux：看内存和交换分区，重点看 total 那一列 free -h # 看显卡型号（Linux），确认是不是独立显卡 lspci | grep -i vga # 如果显卡驱动装好了，一般会附带一个命令行工具，能直接看到显存总量和当前占用 nvidia-smi

拿到结果之后按这个顺序判断：先看显存，有 4GB 就敢上 1.5B，有 8GB 就上 7B，有 16GB 再考虑 14B；如果显存看不出来或者没有独立显卡，就看内存，16GB 内存跑 1.5B 版本是稳的，但速度会慢一些；最后看一眼硬盘剩余空间，C 盘或系统盘至少留 20GB，因为模型文件和运行缓存都往那儿放。

还有一条血泪经验：不要一上来就挑战最大的模型。我见过太多人第一次就拉 14B，结果显存爆了，报一堆看不懂的错，然后得出结论「这东西我电脑跑不动」，其实换个 1.5B 立刻就能用。先用最小的版本把「下载—加载—对话」这条链路走通一遍，你会有底气得多的。

3. 第一次动手：从装 Ollama 到跟模型聊上第一句

概念清楚了就开始动手。这一章的目标很明确：让你的命令行里出现一个能回答问题的提示符。整个过程顺利的话二十分钟以内，慢的话主要时间花在下载上。

3.1 装 Ollama：三个系统各自的最短路径

Windows 用户去 Ollama 官网，首页就有下载按钮，选 Windows 版本，下载下来是一个 .exe 安装包。双击运行，一路点下一步，勾选同意协议，然后点安装。这里有一个必须提前知道的事：它默认装在 C 盘，而且不给你改安装目录的机会。所以安装之前先确认 C 盘有至少 5GB 的可用空间，不然装到一半会失败，报「无法创建目录」之类的错误。装完点完成，服务会自动在后台跑起来。

macOS 用户同样在官网下载，拿到一个 .dmg 文件，双击打开，把图标拖进「应用程序」文件夹就完事了。这一步比 Windows 简单，没什么坑。

Linux 用户最省事，打开终端一行命令：

# 自动下载并安装 Ollama，过程中可能要输入管理员密码 curl -fsSL https://ollama.com/install.sh | sh

三个系统装完之后，验证方式完全一样。打开命令行，输入：

# 能打印出版本号，说明安装成功且服务已经在后台运行 ollama -v

看到版本号（形如 ollama version 0.x.x）就说明装好了。还有第二种验证方式：打开浏览器，访问http://localhost:11434，如果页面上出现「Ollama is running」这行字，同样说明服务活着。这个 11434 端口你后面会反复见到，记住它，它就是你本机 AI 服务的门牌号。

注意：如果ollama -v提示「不是内部或外部命令」，说明安装没成功或者环境变量没生效。先重启一次命令行窗口，还不行就重装一遍，别在这个地方硬耗。

3.2 拉模型：一条命令，等它下完

这一步是下载模型文件。命令的格式是ollama run 模型名，第一次执行时会自动下载，下载完直接进入对话。以最小的版本为例：

# 拉取并启动 1.5B 版本，第一次会自动从模型仓库下载约 1.2GB 的文件 ollama run deepseek-r1:1.5b

按回车之后，终端里会出现下载进度条，显示已下载多少、还剩多久。这里的时间完全取决于你的网速和模型大小，1.5B 的快则一两分钟，7B 的可能要十几分钟。下载过程中不要关窗口，也不要去点别的网络操作，中断了就得重来（虽然会续传，但心态上很折磨）。

下载完成后，命令行的提示符会变成一个>>>，这就意味着模型已经加载好，正在等你提问。这时候你已经成功了一大半。

如果你想先看看自己电脑里已经装了哪些模型，用这条：

# 列出本机已有的模型，显示名称、ID、体积和拉取时间 ollama list

刚装完的时候这个列表可能是空的，跑过一次ollama run之后就会多出一行。以后你装了多个版本，也用这个命令管理，看哪个占地方就删哪个。

3.3 第一次对话：问什么、怎么看回答、怎么退出

>>>出现之后，直接打字提问，回车发送。第一次建议问一个简单、你自己知道答案的问题，方便判断它是不是在正常工作：

>>> 用三句话解释什么是大语言模型

模型会开始一个字一个字往外输出。第一次跑 1.5B 版本，如果没走 GPU 加速，可能等十几秒才开始出字，这是正常的，不要以为卡死了。

回答出来之后，你可以接着追问，它会记住当前这轮对话的上下文。想换个话题重新开始，输入/clear清空上下文；想结束对话，输入/bye回车退出。

# 在对话中退出，回到普通命令行 /bye

这里有个新手常问的问题：退出之后模型还在吗？在。模型文件已经下载到本地了，下次再ollama run deepseek-r1:1.5b是秒开，不会重新下载。这也是本地部署最舒服的地方——断网也能用。

还有一个小提醒：命令行里贴中文，有时候会遇到编码问题，显示成乱码。这不是模型坏了，是终端编码设置的问题，第 4 章会讲怎么处理。

3.4 想要网页界面：OpenWebUI 十分钟接上

命令行能用了，但你多半会想要一个像网页版那样的聊天界面：左边是会话列表，右边是对话框，能复制能重开。OpenWebUI 就是干这个的，它跑在你自己的机器上，连的也是你本地的 Ollama，全程离线。

前提是你机器上有 Python 3.11 或更高版本。没有的话先去官网装一个，安装时记得勾上「添加到 PATH」。

# 建一个独立的 Python 环境，避免和系统里其他包打架 python -m venv openwebui_env # Windows 激活这个环境 openwebui_env\Scripts\activate # macOS / Linux 激活这个环境 source openwebui_env/bin/activate # 安装 OpenWebUI，这一步会装不少依赖，耐心等 pip install open-webui # 启动服务 open-webui serve

启动成功之后，浏览器访问http://localhost:8080，就能看到一个完整的聊天界面。第一次进去需要注册一个本地账号，这个账号只存在你自己的机器上，随便填。

接着去设置里找模型配置，把运行器选成 Ollama，接口地址填http://localhost:11434，保存。回到对话页，模型下拉框里就能看到你刚才拉的 deepseek 模型，选上就能聊了。

这一步的价值不只是好看。有了网页界面，你才能方便地管理多轮对话、复制长回答、保存常用提示词。很多人就是卡在命令行这一层，觉得难用，然后放弃了。花十分钟接上界面，使用频率会完全不一样。

4. 新手避坑：这五个坑我第一次全踩了一遍

下面这五条，是我自己和身边人踩过的坑里出现频率最高的。每一条都按「现象—原因—解决」写，遇到问题时可以直接对号入座。

4.1 装不上、下不动：安装阶段的两个坑

坑一：安装到一半失败，提示无法创建目录。

现象是双击安装包，进度条走到某个位置突然弹错误框，或者干脆卡住不动。原因几乎都是 C 盘空间不够。Ollama 默认装 C 盘且不给改路径，模型文件和运行缓存也都往那儿堆，5GB 是底线，实际用起来建议留 20GB 以上。解决办法是先清一轮 C 盘：清空回收站、删掉下载文件夹里的旧安装包、把休眠文件关掉，腾出空间后重新运行安装包。装完之后，如果你的 C 盘实在紧张，可以在系统设置里把 Ollama 的模型存储目录挪到别的盘，这一步在它的设置项里能改。

坑二：模型下载到 60% 卡住，或者直接报错退出。

现象是进度条长时间不动，或者中断后提示下载失败。原因是网络波动导致连接断了，尤其是用无线网络的时候。解决办法有三步：第一步，先换成有线网络或者信号更好的位置重试；第二步，如果反复失败，用ollama list看看是不是留了一个下载了一半的损坏文件，有的话先ollama rm 模型名删掉再重新拉；第三步，如果只是想要个能用的模型先跑通流程，直接换更小的版本，1.5B 只有 1.2GB，成功率会高很多。

4.2 跑起来就崩：显存和编码的两个坑

坑三：一开始对话就报 CUDA out of memory。

现象是模型能加载，但你一提问，终端刷出一串红字，最后一行写着显存不足。原因是选的模型超出了显卡的承受能力，或者后台还有别的程序占着显存。解决办法按优先级来：先关掉浏览器里那一堆标签页、关掉游戏和设计软件，把显存腾出来；还不行就换小一号的模型，从 14B 降到 7B，从 7B 降到 1.5B；如果非要跑大模型，就得减少单次处理的数据量，把批处理大小调小（第 5 章会讲参数怎么调）。

这里有个心态问题值得说一句：显存不够不是你的错，也不是软件的错，就是配置和模型不匹配。换个小模型立刻就好，别在报错上死磕。

坑四：命令行里中文显示成乱码，或者模型回答里混着奇怪的符号。

现象是你输入的中文在终端里变成方块或者问号，模型的回答里也掺着乱码。原因基本是终端编码不是 UTF-8。Windows 的 cmd 默认编码可能是 GBK，跟模型输出的 UTF-8 对不上。解决办法：换用 PowerShell 或者 Windows Terminal，或者在 cmd 里先执行chcp 65001把编码切成 UTF-8 再启动模型。如果只是偶尔出现几个怪符号，多半是复制粘贴时带进了不可见字符，重新手打一遍通常就好了。

4.3 连不上、选错模型：配置阶段的一个坑

坑五：OpenWebUI 里看不到模型，或者提示连接失败。

现象是网页界面打开了，但模型下拉框是空的，或者保存配置时提示连不上。原因通常有两个：一是 Ollama 服务没在跑，二是接口地址填错了。排查顺序是：先在浏览器访问http://localhost:11434，确认能看到「Ollama is running」；看不到就说明服务挂了，重新装一次或者重启电脑；能看到的话，问题就在 OpenWebUI 这边，检查填的地址是不是多了斜杠、端口是不是写成了别的数字。还有一种情况是端口被占用，8080 被别的程序占了，那就换个端口启动，比如open-webui serve --port 8081。

最后给一个通用的排查思路：遇到任何报错，先分成「装的时候」「下的时候」「跑的时候」「连的时候」四类，定位到哪一类再去搜，比拿着完整报错去搜效率高得多。新手最容易做的事是把一大段红字整段贴出去问，其实真正有用的只有最后两三行。

5. 从「能聊」到「好用」：三个参数和一份私有资料的喂法

模型跑起来了，接下来是让它变得可控。默认参数下的模型像个刚认识的同事，能力有，但说话风格不一定对你的胃口。调整几个参数，能明显改变输出的感觉。

5.1 temperature：让回答变稳还是变活

temperature 控制的是输出的随机性。值越高，模型越爱发挥，用词更花哨、思路更发散；值越低，它越保守，倾向于选择最稳妥的那个词。

# 把温度调低到 0.3，适合查资料、写周报、做摘要这类要稳的任务 ollama run deepseek-r1:7b --options='{"temperature": 0.3}'

# 把温度调到 0.9，适合头脑风暴、起名字、写创意文案 ollama run deepseek-r1:7b --options='{"temperature": 0.9}'

怎么理解这个参数？把它当成「发挥程度」的旋钮。写代码、做数据整理、回答事实性问题，调到 0.2 到 0.4；日常闲聊、写点东西，0.7 左右；需要它给你一堆不同角度的点子，0.9 到 1.0。超过 1.0 之后它开始胡言乱语的概率明显上升，入门阶段不建议碰。

提示：这个参数不是每次都有效果。同一个问题在 0.3 和 0.4 下，回答可能一模一样。它的作用在长回答和开放性问题里才明显。

5.2 上下文长度和批处理：显存的两个大头

除了 temperature，还有两个参数会影响你的使用体验，而且都跟显存直接相关。

批处理大小（batch size）指的是一次并行处理多少数据。调大能加快推理速度，但会成倍占用显存：

# 一次处理 16 条，速度更快，但显存占用也更高 ollama run deepseek-r1:7b --options='{"batch_size": 16}'

如果你的显卡显存比较宽裕，可以试 16 或 32；如果一调大就爆显存，就退回 8 甚至更小。这个参数没有「最优值」，只有「你这块卡能承受的值」，试两次就知道了。

另一个是上下文长度，也就是模型能记住多长的对话。默认值通常够用，但如果你要让它读一份几万字的文档，就得把这个值调大，代价同样是更多的显存。零基础阶段先用默认值，等你确实遇到「它忘了我前面说的话」这种情况，再回来调。

这里说个我自己的教训：刚开始我总觉得参数调得越激进效果越好，把 batch_size 拉到 32，结果一提问就崩。后来老老实实从 8 开始一个个往上试，才找到这台机器的上限。参数调优这件事，玄学成分有，但更多是试出来的。

5.3 把手头的资料喂给它：私有知识库的最小做法

到这一步，模型已经能陪你聊天了。但真正让它变成「专属 AI 应用」的，是让它读你自己的资料。

最简单的做法是这样的：把要用的文档整理成纯文本，控制在一两万字以内，然后在提问的时候把资料整段贴在问题前面，再附上你的要求。这就是最原始的「上下文注入」，不需要任何额外工具，今天就能用。

稍微进阶一点，是让程序去调用模型，而不是你自己在命令行里敲。Ollama 在本机开了一个 HTTP 接口，任何程序都能往里发请求：

# 直接从别的程序调用本地模型，stream 设为 false 表示一次性返回完整结果 curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "把下面这段话改写成 100 字以内的摘要：……", "stream": false }'

这段请求的意思是：告诉 11434 端口，用哪个模型、处理什么内容、要不要流式返回。把它塞进一个脚本里，就能批量处理一堆文档，比如把几十份会议记录一次性生成摘要。这才是本地部署真正开始产生价值的地方——你不再是一个人在跟模型聊天，而是让模型成了你工作流里的一个环节。

再往上一层，是搭建私有知识库：把文档切块、转成向量存起来，提问时先检索出最相关的几段再喂给模型。这个方案涉及向量数据库和检索逻辑，属于进阶内容，第 6 章的路线里会提到什么时候该学它。

6. 下一步学什么：一条零基础四周路线

跑通第一个模型之后，最容易发生的事是：新鲜两天，然后不知道拿它干嘛，最后放着吃灰。避免这个结局的办法是给自己排一条有明确完成标志的路线。下面这条是我觉得对零基础最友好的节奏，每天半小时到一小时，四周下来能到一个「日常真的在用」的状态。

第一周不要贪多。目标就是把「装—拉—聊—界面」这条链路走顺，中途报错就照着第 4 章排查。这一周你不需要理解任何原理，能把话说上就行。

第二周开始练提问。同一个问题，问法不同，结果差很远。你可以试着给模型一个角色（「你是一个严谨的技术编辑」）、给它格式要求（「用表格输出，三列」）、给它例子（「照着这个风格改写」）。这三招覆盖了日常八成的场景。练的时候准备一个文本文件，把好用的问法记下来，这就是你自己的提示词库。

第三周的重点是把它塞进日常工作流。写邮件、改文案、读长文档、解释报错信息，找一个你每周都要重复做的任务，强迫自己用它做一遍。这一周结束你会有一个很实在的判断：它到底帮你省了时间，还是增加了麻烦。

第四周开始碰接口。从 5.3 那段 curl 开始，写一个脚本，把你手头的一批文档批量处理掉。这一步跨过去，你就从「使用者」变成了「能改造它的人」，后面再学向量检索、微调这些东西，才有承接的地方。

再往后的方向大致有三个：一是往深了走，学提示词工程和检索增强，让模型能处理你自己的知识库；二是往工程走，学怎么把模型包装成一个团队能用的内部服务；三是往应用走，找一个具体场景做一个小工具。三条路都不轻松，但顺序上我建议先把第一条走完，因为另外两条都建立在「你会跟模型对话」这个前提上。

我第一次部署完之后，做过一件现在想起来挺蠢的事：拿一份不该外传的材料直接丢给在线服务去总结。后来才反应过来，那时候图的就是省事。所以在本地部署跑通的那一刻，我心里第一反应不是「好玩」，而是「以后这类东西终于有地方放了」。从那以后我养成一个习惯：凡是涉及不该外流的资料，处理之前都强制走一遍本机模型，哪怕它慢一点、笨一点，也先用本地的。这个习惯比任何参数调优都值钱。

希望这篇能帮你把这个第一步迈出去。别怕报错，报错是这个领域最正常的反馈，换个小模型、看最后两行提示，多数问题自己就解决了。

希望帮到你。

本文还有配套的精品资源，点击获取