news 2026/6/22 23:18:31

Ollama + Open WebUI WSL上搭建本地AI模型

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Ollama + Open WebUI WSL上搭建本地AI模型
  1. 打开 WSL 终端,执行官方一键安装脚本:
    curl -fsSL https://ollama.com/install.sh | sh
  2. 验证安装是否成功:
    ollama --version # 输出版本号(如ollama version 0.1.48)则安装成功

三、基础使用:运行 / 管理模型

1. 运行第一个模型(以 DeepSeek 为例)

Ollama 内置了主流模型的配置,直接执行模型名即可自动下载并运行:

ollama run deepseek # 自动下载DeepSeek模型并启动交互界面
  • 首次运行会下载模型文件(DeepSeek-7B 约 4GB),耐心等待;
  • 下载完成后进入交互模式,输入问题即可对话(如:介绍一下WSL);
  • 退出交互:输入/bye或按Ctrl + D
2. 常用 Ollama 命令(模型管理)
命令功能
ollama list查看已下载的模型
ollama pull deepseek单独下载模型(不运行)
ollama rm deepseek删除指定模型
ollama stop deepseek停止运行中的模型
ollama serve后台启动 Ollama 服务(供 API 调用)

四、进阶:开启 GPU 加速(WSL 2 专属)

默认 Ollama 使用 CPU 运行模型,开启 GPU 加速可大幅提升推理速度,步骤如下:

  1. 安装 WSL 版 NVIDIA 驱动:
    • 先在 Windows 侧安装 NVIDIA 显卡驱动(需支持 WSL 2):https://www.nvidia.com/Download/index.aspx
    • WSL 内安装 CUDA 依赖(无需完整安装 CUDA,仅需运行时):
      sudo apt install nvidia-cuda-toolkit -y
  2. 验证 GPU 识别:
    nvidia-smi # 输出显卡信息则GPU适配成功
  3. 重启 Ollama 服务,自动调用 GPU:
    sudo systemctl restart ollama ollama run deepseek # 再次运行模型,会自动使用GPU

五、通过 API 调用 Ollama(开发集成)

Ollama 内置 REST API,可在 WSL 内或 Windows 侧调用:

  1. 后台启动 Ollama 服务:
    ollama serve & # & 表示后台运行
  2. 调用 API 示例(curl 测试):
    curl http://localhost:11434/api/generate -d '{ "model": "deepseek", "prompt": "解释Ollama的核心优势" }'
  3. Python 调用示例:
    import requests url = "http://localhost:11434/api/generate" data = { "model": "deepseek", "prompt": "用Python写一个调用Ollama API的示例", "stream": False # 关闭流式输出,直接返回完整结果 } response = requests.post(url, json=data) print(response.json()["response"])

Docker 安装 web-ui 界面

version: '3.8' services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always ports: - "3000:8080" # 主机端口:容器端口,可自定义(如 8088:8080) extra_hosts: - "host.docker.internal:host-gateway" # 关键:让容器访问主机的 Ollama volumes: - ./data:/app/backend/data # 持久化数据(对话、配置、插件) - ./models:/app/models # 可选:挂载自定义模型目录 environment: - OLLAMA_BASE_URL=http://host.docker.internal:11434 # 指定 Ollama 地址 - LANGUAGE=zh-CN # 强制中文界面 - TZ=Asia/Shanghai # 时区配置(避免日志时间错乱)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/22 18:17:16

waitGroup底层源码分析

面试官必问:Go WaitGroup 底层是怎么实现的?源码拆解 原理分析_哔哩哔哩_bilibili 如果大家不想看文字版的可以去观看我b站对应的视频,超详细,欢迎大家观看,链接在上面。 一、介绍waitGroup waitGroup就像一个任务…

作者头像 李华
网站建设 2026/6/23 16:09:16

LobeChat能否用于编写Prometheus告警规则?可观测性增强

LobeChat 能否用于编写 Prometheus 告警规则?可观测性增强 在现代云原生系统中,服务的稳定性早已不再依赖“看日志猜问题”的经验主义。随着微服务和 Kubernetes 的普及,系统的复杂度呈指数级上升,传统监控方式已难以应对快速定位…

作者头像 李华
网站建设 2026/6/23 0:26:03

大模型学习全攻略:七阶段系统学习路线图,从基础到实战应用,非常详细收藏我这一篇就够了

文章提供了七阶段大模型学习路线图:从数学和编程基础开始,经历机器学习、深度学习、自然语言处理等阶段,到大规模语言模型及其应用,最后是持续学习与进阶。每个阶段都推荐了相关书籍、论文和在线课程作为学习资源,并附…

作者头像 李华
网站建设 2026/6/23 17:23:07

YOLOv5中使用torch加载自定义模型进行目标检测

YOLOv5中使用torch加载自定义模型进行目标检测 在智能安防、工业质检和机器人视觉等实际场景中,我们常常面临这样一个问题:训练好的YOLOv5模型如何快速部署到真实环境中?很多开发者卡在“训练完成却不会用”的尴尬阶段——明明.pt文件就躺在r…

作者头像 李华
网站建设 2026/6/23 18:09:58

LobeChat能否隐藏源码信息?增强系统隐蔽性

LobeChat 能否隐藏源码信息?从架构设计看系统隐蔽性实现 在企业纷纷将大语言模型(LLM)引入业务流程的今天,一个看似简单的问题却常被忽视:当你部署了一个 AI 对话界面时,有没有人能轻易“扒开”你的技术底裤…

作者头像 李华