DeepSeek-R1-Distill-Qwen-1.5B从零开始：Windows WSL2环境完整部署记录

DeepSeek-R1-Distill-Qwen-1.5B从零开始：Windows WSL2环境完整部署记录

1. 项目简介

DeepSeek-R1-Distill-Qwen-1.5B是一个超轻量级的智能对话模型，专门为本地化部署设计。这个模型结合了DeepSeek优秀的逻辑推理能力和Qwen成熟的模型架构，经过蒸馏优化后，在保持强大性能的同时大幅降低了计算资源需求。

最吸引人的是它的轻量化特性——只有1.5B参数，这意味着即使你的电脑配置不高，也能流畅运行。无论是只有4GB显存的GPU还是普通的CPU环境，这个模型都能很好地工作。

项目使用Streamlit构建了直观的聊天界面，完全在本地运行，所有对话数据都不会上传到云端，确保了绝对的隐私安全。模型特别针对思维链推理进行了优化，能够清晰地展示思考过程，非常适合逻辑问答、数学解题、代码编写等需要推理能力的场景。

2. 环境准备与WSL2配置

2.1 启用WSL2功能

首先需要在Windows系统中启用WSL2功能。以管理员身份打开PowerShell，输入以下命令：

# 启用WSL功能 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart # 启用虚拟机平台功能 dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart # 重启计算机后，设置WSL2为默认版本 wsl --set-default-version 2

2.2 安装Ubuntu系统

打开Microsoft Store，搜索"Ubuntu"，选择最新的LTS版本安装。安装完成后，首次启动会要求设置用户名和密码。

2.3 系统更新与基础配置

打开Ubuntu终端，执行以下命令更新系统：

# 更新软件包列表 sudo apt update && sudo apt upgrade -y # 安装基础开发工具 sudo apt install -y python3 python3-pip python3-venv git wget curl # 验证Python版本 python3 --version pip3 --version

3. 模型部署与环境配置

3.1 创建项目目录

在WSL2中创建项目工作目录：

# 创建项目目录 mkdir -p ~/deepseek-chat && cd ~/deepseek-chat # 创建模型存储目录 mkdir -p /root/ds_1.5b

3.2 安装Python依赖

创建Python虚拟环境并安装所需依赖：

# 创建虚拟环境 python3 -m venv venv source venv/bin/activate # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 安装其他依赖 pip install streamlit transformers accelerate sentencepiece protobuf

3.3 模型文件准备

由于模型文件较大，建议提前下载到指定位置：

# 确保模型目录存在 sudo mkdir -p /root/ds_1.5b sudo chmod -R 777 /root/ds_1.5b # 这里需要将下载的模型文件放置到/root/ds_1.5b目录 # 模型文件通常包括：pytorch_model.bin, config.json, tokenizer.json等

4. Streamlit聊天界面部署

4.1 创建主程序文件

创建app.py文件作为Streamlit应用入口：

import streamlit as st from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 设置页面标题和图标 st.set_page_config( page_title="DeepSeek R1 智能助手", page_icon="🤖", layout="wide" ) @st.cache_resource def load_model(): """加载模型和分词器""" model_path = "/root/ds_1.5b" # 加载分词器 tokenizer = AutoTokenizer.from_pretrained( model_path, trust_remote_code=True ) # 加载模型 model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) return tokenizer, model def format_output(text): """格式化模型输出，处理思考过程标签""" if "<|think|>" in text and "<|end|>" in text: # 提取思考过程 think_start = text.find("<|think|>") + len("<|think|>") think_end = text.find("<|end|>") think_content = text[think_start:think_end].strip() # 提取最终回答 answer_start = text.find("<|end|>") + len("<|end|>") answer_content = text[answer_start:].strip() formatted_text = f""" **🤔 思考过程：** {think_content} **💡 最终回答：** {answer_content} """ return formatted_text return text def main(): st.title("DeepSeek R1 智能对话助手") st.markdown("基于DeepSeek-R1-Distill-Qwen-1.5B模型的本地化智能对话系统") # 初始化会话状态 if "messages" not in st.session_state: st.session_state.messages = [] if "model_loaded" not in st.session_state: with st.spinner("🚀 正在加载模型，首次加载可能需要30-60秒..."): try: st.session_state.tokenizer, st.session_state.model = load_model() st.session_state.model_loaded = True st.success("模型加载成功！") except Exception as e: st.error(f"模型加载失败：{str(e)}") return # 侧边栏 with st.sidebar: st.header("设置") if st.button("🧹 清空对话历史"): st.session_state.messages = [] torch.cuda.empty_cache() if torch.cuda.is_available() else None st.rerun() st.markdown("---") st.markdown("### 生成参数") temperature = st.slider("温度", 0.1, 1.0, 0.6) max_tokens = st.slider("最大生成长度", 128, 4096, 2048) # 显示聊天消息 for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) # 用户输入 if prompt := st.chat_input("考考 DeepSeek R1..."): # 添加用户消息 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) # 生成回复 with st.chat_message("assistant"): with st.spinner("思考中..."): try: # 准备输入 messages = [{"role": "user", "content": prompt}] text = st.session_state.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) # 生成回复 inputs = st.session_state.tokenizer(text, return_tensors="pt") with torch.no_grad(): outputs = st.session_state.model.generate( inputs.input_ids, max_new_tokens=max_tokens, temperature=temperature, top_p=0.95, do_sample=True, pad_token_id=st.session_state.tokenizer.eos_token_id ) # 解码输出 response = st.session_state.tokenizer.decode( outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True ) # 格式化输出 formatted_response = format_output(response) st.markdown(formatted_response) # 添加助手消息 st.session_state.messages.append( {"role": "assistant", "content": formatted_response} ) except Exception as e: error_msg = f"生成回复时出错：{str(e)}" st.error(error_msg) if __name__ == "__main__": main()

4.2 创建启动脚本

创建run.sh启动脚本：

#!/bin/bash # 激活虚拟环境 source venv/bin/activate # 设置环境变量 export PYTHONPATH=$PYTHONPATH:$(pwd) # 启动Streamlit应用 streamlit run app.py --server.port 8501 --server.address 0.0.0.0

给脚本添加执行权限：

chmod +x run.sh

5. 服务启动与访问

5.1 启动服务

在项目目录下运行启动脚本：

./run.sh

首次启动时会加载模型，这个过程可能需要30-60秒，具体时间取决于你的硬件配置。控制台会显示加载进度：

🚀 Loading: /root/ds_1.5b

5.2 访问服务

服务启动后，你会看到类似这样的输出：

You can now view your Streamlit app in your browser. Local URL: http://localhost:8501 Network URL: http://192.168.x.x:8501

在Windows浏览器中直接访问http://localhost:8501即可使用聊天界面。

5.3 使用技巧

1. 首次对话：建议先问一些简单问题测试服务是否正常
2. 复杂问题：模型擅长逻辑推理和代码生成，可以尝试数学题或编程问题
3. 清空对话：长时间使用后点击侧边栏的"清空"按钮释放显存
4. 参数调整：根据需要在侧边栏调整生成参数，温度越低回答越保守

6. 常见问题解决

6.1 模型加载失败

如果模型加载失败，检查以下几点：

# 检查模型文件是否存在 ls -la /root/ds_1.5b/ # 检查文件权限 ls -la /root/ # 如果权限不足，修改权限 sudo chmod -R 755 /root/ds_1.5b

6.2 显存不足问题

如果遇到显存不足，可以尝试以下方法：

# 修改模型加载代码，使用更低精度的数据类型 model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, # 使用半精度 device_map="auto", low_cpu_mem_usage=True, # 低内存模式 trust_remote_code=True )

6.3 端口被占用

如果8501端口被占用，可以更改端口号：

streamlit run app.py --server.port 8502 --server.address 0.0.0.0

7. 项目总结

通过本教程，我们成功在Windows WSL2环境中部署了DeepSeek-R1-Distill-Qwen-1.5B智能对话系统。这个项目的主要优势在于：

部署简单：基于Streamlit的界面让部署变得非常简单，无需复杂的Web开发知识。

资源友好：1.5B的模型参数使其在消费级硬件上也能流畅运行，大大降低了使用门槛。

功能强大：支持思维链推理、代码生成、逻辑分析等多种能力，输出格式清晰易读。

隐私安全：所有数据处理都在本地完成，确保了对话内容的绝对隐私。

易于扩展：项目结构清晰，可以方便地添加新功能或集成其他模型。

这个部署方案特别适合个人开发者、学生或者对隐私要求较高的用户群体。无论是用于学习AI技术、辅助编程还是日常问答，都是一个不错的选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。