本文主要介绍部署本地模型
Ollama 是一个让你在本地电脑运行大语言模型的工具。
核心功能
| 功能 | 说明 |
|---|---|
| 本地运行大模型 | Llama、千问、DeepSeek 等,无需联网 |
| 保护隐私 | 对话数据不上传云端 |
| 免费使用 | 开源模型,无 API 费用 |
| 命令行操作 | 简单几条命令就能用 |
| API 服务 | 其他软件可以调用,比如配图形界面 |
下面介绍在windows系统部署使用
第一步:下载安装包
访问 Ollama 官网下载 Windows 版安装包:
官方下载地址:https://ollama.com/download/windows
或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe
可能下载较慢,可考虑网盘获取免安装版本
网盘分享:ollama-windows-amd64.zip
链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub
cmd进入对话框,执行一下命令
ollama --version
如返回版本说明安装成功
设置环境变量
然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。
1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录
然后启动服务 和 加载 模型
启动 命令
shell框内执行:
H:
cd H:\ollama-windows-amd64
ollama.exe serve
后台保持运行
安装千问模型
然后新开一个窗口运行:
cd H:\ollama-windows-amd64
ollama.exe run qwen2.5
此时会进行下载资源包,约5G大小,下载完成后即可使用:
界面如下:
安装完成测试验证
安装一个浏览器插件方便UI访问
也可以用 浏览器插件 Page Assist,更轻量:
打开 Chrome/Edge 浏览器
访问插件商店,搜索 Page Assist
安装后点击插件图标
在设置里选择 Ollama,地址填 http://localhost:11434
选择模型即可使用