WSL中安装和配置大模型本地运行器Ollama

1. 什么是Ollama？

Ollama = 本地大模型运行器
它让你在自己的电脑上运行 Llama、Qwen、Mistral 等大模型（.gguf 格式），不需要联网，不依赖云端。

可以理解为：

“让大模型像普通程序一样在你电脑本地运行的工具。”

安装后可以通过：

ollama run llama3

这样直接本地跑LLM。

2. 如何下载安装Ollama（离线方法）?

2.1 下载安装包

Ollama的官方下载地址是：Releases · ollama/ollama

该文件实际大小可能在1~3GB之间，下载操作中可能极其慢（下载前期可能会快一点，后期，速度就会越来越慢，最终降低到10-20kb/s，预计用时可能4小时至10多个小时以上）。

尝试过多种下载加速等方法，都没有成功。最终找到的一种可能的方案是：官网上复制所需相应架构和版本的Ollama下载地址，使用迅雷（会员）下载，我试过这种操作下载一个版本时间大约18分钟。

[2025年12月11日] 我已经下载的安装包，分享给大家：ollama-linux-amd64.tgz，提取码: jtid

2.2 离线安装

例如我已经下载到了离线安装包：ollama-linux-amd64.tgz，安装过程即一个解压过程，此时服务尚未应用。

//解压到目录即安装完成sudotar-C /usr -xzvf ollama-linux-amd64.tgz //运行测试 ollama serve //ollama应该作为服务启动

ollama服务启动后，可通过查看运行版本确认：

moemoe@NUC12WSKi7:~$ ollama -v ollama version is0.13.2

2.3 临时运行方法

直接运行ollama服务：

ollama serve

或者后台运行：

nohup ollama serve > ollama.log 2>&1 &

临时运行方法退出WSL后，服务即关闭，下次还需要重新运行上面的命令，比较麻烦（不推荐）。

3 . 创建自启动服务ollama.service

WSL推荐通过启用WSL的systemd，并创建ollama.service自启动服务

步骤一：创建ollama.service服务

vim/etc/systemd/system/ollama.service

其中的内容如下：

[Unit] # 描述服务的名称和用途，表明这是一个用于运行Ollama应用的服务。 Description=Ollama Service # 指定服务应在系统网络完全就绪（即network-online.target达成）之后启动。确保服务依赖的网络功能可用。 After=network-online.target [Service] ExecStart=/usr/bin/ollama serve # 服务以本人的用户和组的身份运行，避免使用root权限，提高安全性。需确保系统中已存在该用户和组，否则服务会启动失败 User=moemoe Group=moemoe # 服务无论因何原因退出（包括正常退出、异常崩溃、被杀死等），都会自动重启。 Restart=always # 重启前等待3秒，防止频繁崩溃导致系统负载过高。 RestartSec=3 # 显式设置环境变量PATH，继承当前systemd环境中的PATH值，确保服务能找到所需命令路径。需注意实际环境可能与Shell中的PATH不同。 Environment="OLLAMA_HOST=0.0.0.0" Environment="PATH=$PATH" [Install] # 当通过systemctl enable启用服务时，该服务会关联到default.target（系统默认启动目标，通常是图形界面或多用户模式）。系统启动时，服务会自动运行。 WantedBy=default.target

此时注意：WSL系统默认不是用systemd启动的，因此无法直接使用systemctl，所有systemctl直接设置ollama服务的命令都会失败，可能提示：

# 意思是：当前系统不是用systemd启动的，因此无法使用systemctlSystem has not been booted with systemd as init system(PID1). Can't operate. Failed to connect to bus: Host is down

WSL（Ubuntu on Windows）中，默认的PID 1不是systemd，而是微软自己的init进程，所以：

• systemctl start xxx
• systemctl enable xxx
• systemctl daemon-reload

这些服务设置都会报完全一样的错。因为systemd没启动，WSL也不会加载/etc/systemd/system/*.service所以也会提示：

Failed toenableunit, unit ollama.service does not exist.

步骤二：启用WSL的systemd

1、编辑WSL配置文件：

vim/etc/wsl.conf

2、加入以下内容后，保存并退出：

[boot] systemd=true

3、再PowerShell中重启wsl：

先关闭WSL：wsl --shutdown，再重新打开WSL（默认发行版）：wsl。

也可以重启指定发行版，查看当前发行版名称:wsl --list --verbose。

先关闭WSL：wsl --terminate Ubuntu-24.04(指定发行版名称)，再重新打开WSL：wsl -d Ubuntu-24.04(指定发行版名称)。

最后验证systemd是否开启：

systemctl is-system-running

如果出现running、starting说明成功。

步骤三：刷新systemd并启动

sudosystemctl daemon-reloadsudosystemctlenableollamasudosystemctl start ollama

然后，通过查看运行版本确认运行状态：

ollama -v

显示具体版本即成功启动，或者：

systemctl status ollama

如果看到 “Active: active (running)” 就成功了。