Win11系统部署百川2-13B本地测试环境：WSL2与Docker实战

Win11系统部署百川2-13B本地测试环境：WSL2与Docker实战

想在自己的Windows电脑上跑一跑百川2-13B这样的大模型，但又不想折腾复杂的Linux环境？很多开发者都有这个痛点。直接在Windows上部署，依赖库和驱动问题层出不穷；装个双系统，切换起来又太麻烦。其实，对于习惯Windows开发环境的你来说，现在有个非常优雅的解决方案：WSL2 + Docker。

今天，我就带你一步步在Win11系统上，用这套组合拳，搭建一个能流畅运行百川2-13B量化模型的本地测试环境。这个环境能最大程度地模拟云端GPU服务器的运行状态，让你在本地就能完成前期的代码调试、接口测试和效果验证，省去频繁上传代码、等待云端构建的麻烦。整个过程，你甚至不需要重装系统，就能在熟悉的Windows界面下，获得一个近乎原生的Linux开发体验。

1. 环境准备：为什么是WSL2和Docker？

在开始动手之前，我们先简单聊聊为什么选这个方案。你可能听说过虚拟机（VMware/VirtualBox），也听说过原生Linux。WSL2（Windows Subsystem for Linux 2）是微软官方推出的Linux子系统，它不像传统虚拟机那样需要独立分配大量内存和CPU资源，而是与Windows深度集成，启动快、资源占用少，还能直接访问Windows文件系统。

Docker则是一个容器化平台，它可以把应用及其所有依赖打包成一个标准化的“集装箱”。用Docker来部署百川2-13B，意味着我们能把运行环境（包括Python版本、CUDA驱动、模型文件等）完全固化下来。无论你是在这台电脑上，还是将来换到另一台同样配置的机器，都能一键复现完全相同的环境，彻底告别“在我机器上好好的”这类问题。

简单来说，WSL2提供了底层的Linux内核支持，而Docker在其之上提供了环境一致性的保障。两者结合，就是在Windows上获得高效、稳定、可复现AI开发环境的最佳实践。

2. 第一步：安装与配置WSL2

这是整个流程的基石。请确保你的Windows 11版本是较新的（如22H2或更高），并已开启虚拟化功能（通常在BIOS中设置，大多数现代电脑默认已开启）。

2.1 启用WSL功能

首先，我们需要以管理员身份打开Windows PowerShell或终端。最方便的方法是：在开始菜单搜索“PowerShell”，右键点击它，选择“以管理员身份运行”。

在打开的窗口中，输入以下命令来启用WSL功能：

wsl --install

这个命令会默认安装Ubuntu发行版和WSL2内核。执行完毕后，它会提示你重启电脑。请务必重启。

重启后，系统会自动完成Ubuntu的初始安装。你可能会看到一个终端窗口弹出，要求你设置一个新的UNIX用户名和密码。这个账号是WSL子系统的管理员账号，请务必记住你设置的密码。

2.2 升级到WSL2并设置默认版本

安装完成后，我们最好确认一下WSL版本，并确保默认使用WSL2。再次打开PowerShell（无需管理员），运行：

wsl --list --verbose

这个命令会列出所有已安装的WSL发行版及其状态。查看你的Ubuntu发行版对应的“VERSION”列，应该是“2”。如果不是，使用以下命令将其设置为WSL2：

wsl --set-version Ubuntu 2

然后，将WSL2设置为所有新发行版的默认版本：

wsl --set-default-version 2

至此，你的Windows内部已经拥有了一个完整的、高性能的Linux子系统。你可以通过在开始菜单搜索“Ubuntu”来打开它，它就像一个原生的Linux终端一样。

3. 第二步：在WSL2中安装Docker Desktop

Docker有多个版本，我们选择Docker Desktop for Windows，因为它能完美集成WSL2。

3.1 下载与安装

1. 访问Docker官网，下载 Docker Desktop for Windows 安装包。
2. 运行安装程序，安装过程中会提示你启用“WSL 2 based engine”选项，请务必勾选。
3. 安装完成后，启动Docker Desktop。第一次启动可能会稍慢，因为它需要初始化。

3.2 关键配置：集成WSL2

启动后，点击Docker Desktop右上角的设置（齿轮图标），进入设置页面：

1. 在“General”选项卡中：确保“Use the WSL 2 based engine”已被勾选。
2. 在“Resources” -> “WSL Integration”选项卡中：这是最关键的一步。你会看到已安装的WSL发行版列表（比如我们的“Ubuntu”）。将右侧的开关打开，以启用该发行版的Docker集成。
3. 点击“Apply & Restart”让配置生效。

这个配置意味着，以后你在WSL2的Ubuntu终端里使用docker命令，实际上调用的是Windows主机上运行的Docker引擎，两者无缝衔接，性能无损。

3.3 验证安装

打开之前安装的Ubuntu终端（WSL2），输入以下命令验证Docker是否安装成功：

docker --version docker run hello-world

如果能看到Docker版本信息，并且hello-world镜像成功运行并打印出欢迎信息，恭喜你，Docker环境已经准备就绪。

4. 第三步：获取并运行百川2-13B Docker镜像

现在，我们来到了核心环节：在容器中运行百川模型。为了获得最佳兼容性和性能，我们使用一个预置了PyTorch、CUDA等深度学习环境的镜像作为基础，再在其内部运行模型。

4.1 拉取基础镜像

我们选用一个流行的深度学习镜像，它包含了我们所需的大部分依赖。在Ubuntu终端中执行：

docker pull pytorch/pytorch:2.0.1-cuda11.7-cudnn8-runtime

这个命令会从Docker Hub下载一个基于PyTorch 2.0.1和CUDA 11.7的镜像。下载时间取决于你的网速。

4.2 准备模型文件和启动脚本

在运行容器之前，我们需要在WSL2的文件系统中准备一个工作目录，用于存放模型文件和我们的Python脚本。

1. 在Ubuntu终端中，创建一个目录并进入：

   mkdir -p ~/baichuan_test && cd ~/baichuan_test

2. 创建我们的模型推理脚本infer.py。这里我们以使用Hugging Facetransformers库加载一个量化版本的百川2-13B模型为例（请注意，你需要自行获取并下载模型权重文件，例如从ModelScope或Hugging Face Hub）：

   # infer.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer import time # 指定模型路径，这里假设你把下载的模型放在了当前目录的 `Baichuan2-13B-Chat` 文件夹下 model_path = "./Baichuan2-13B-Chat" print("正在加载模型和分词器...") start_time = time.time() # 加载量化模型，例如使用8-bit量化以节省显存 model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, # 使用半精度浮点数 device_map="auto", # 自动分配模型层到可用的GPU/CPU load_in_8bit=True, # 启用8-bit量化 trust_remote_code=True # 百川模型需要此参数 ) tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) load_time = time.time() - start_time print(f"模型加载完毕，耗时 {load_time:.2f} 秒") # 将模型设置为评估模式 model.eval() # 简单的对话循环 print("\n模型已就绪，请输入您的问题（输入 'quit' 退出）：") while True: user_input = input("\n用户: ") if user_input.lower() == 'quit': break # 构建对话格式（根据百川模型的格式要求） messages = [{"role": "user", "content": user_input}] input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) # 编码输入 inputs = tokenizer(input_text, return_tensors="pt").to(model.device) # 生成回复 print("百川: ", end="", flush=True) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=512, # 生成的最大token数 do_sample=True, # 使用采样 temperature=0.7, # 采样温度 top_p=0.9, # 核采样参数 ) # 解码并打印输出，跳过输入的prompt部分 output_ids = generated_ids[0][len(inputs['input_ids'][0]):] response = tokenizer.decode(output_ids, skip_special_tokens=True) print(response)

   重要提示：你需要提前从合法的渠道下载百川2-13B-Chat的模型权重文件，并放置于~/baichuan_test/Baichuan2-13B-Chat目录下。由于模型文件很大（约13GB），请确保你的磁盘空间充足。

4.3 启动Docker容器并运行模型

万事俱备，现在启动一个容器，将我们的工作目录挂载进去，并运行脚本。

在Ubuntu终端的~/baichuan_test目录下，执行以下命令：

docker run -it --rm \ --gpus all \ -v $(pwd):/workspace \ -w /workspace \ pytorch/pytorch:2.0.1-cuda11.7-cudnn8-runtime \ bash

让我解释一下这个命令的参数：

• -it：以交互模式运行容器，并分配一个伪终端。
• --rm：容器退出后自动删除，避免积累无用容器。
• --gpus all：将宿主机的所有GPU资源暴露给容器。这是GPU加速的关键。
• -v $(pwd):/workspace：将当前目录（~/baichuan_test）挂载到容器的/workspace目录。这样容器内就能访问到我们的模型和脚本了。
• -w /workspace：设置容器启动后的工作目录为/workspace。
• 最后指定镜像和要运行的命令bash，即启动一个Shell。

命令执行后，你会进入容器内部的Shell，提示符可能会变成类似root@xxxxx:/workspace#。

4.4 在容器内安装依赖并运行

现在我们在容器内部。首先，安装运行百川模型必需的Python包：

# 更新pip并安装依赖 pip install --upgrade pip pip install transformers accelerate sentencepiece # 如果你的模型需要特定的、信任远程代码的库，可能还需要安装 modelscope 等 # pip install modelscope

安装完成后，就可以运行我们的推理脚本了：

python infer.py

第一次运行会加载模型，这可能需要几分钟，具体时间取决于你的磁盘速度。加载完成后，就会出现交互提示，你可以开始和本地的百川2-13B模型对话了！

5. 常见问题与实用技巧

搭建过程中可能会遇到一些小麻烦，这里总结几个常见问题和解决办法。

1. Docker命令报错：Cannot connect to the Docker daemon

• 原因：Docker Desktop没有运行，或者WSL集成未正确配置。
• 解决：确保Docker Desktop已在Windows中启动，并检查设置中的WSL Integration是否已为你使用的Ubuntu发行版启用。

2. 运行容器时提示--gpus参数未知

• 原因：Docker的GPU支持（nvidia-container-toolkit）未安装或未在WSL2中生效。
• 解决：首先确保Windows主机已安装NVIDIA显卡驱动。然后在WSL2的Ubuntu终端内，尝试安装（但通常Docker Desktop for Windows已集成）：

```bash # 在WSL2的Ubuntu中执行 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker # 在WSL2中可能无效，重启Docker Desktop更有效 ``` 最根本的解决方法是重启Docker Desktop，并确保其设置中使用了WSL2后端。

3. 模型加载慢或内存/显存不足

• 原因：百川2-13B模型即使量化后也很大。如果你的GPU显存小于8GB，可能会遇到困难。
• 解决： * 在from_pretrained中尝试load_in_4bit=True（需要安装bitsandbytes库）进行4-bit量化，进一步降低显存需求。 * 使用device_map="cpu"或"sequential"将部分层卸载到CPU内存，但这会显著降低推理速度。 * 考虑在Docker运行时使用--shm-size参数增加共享内存，例如--shm-size=8g。

4. 如何让容器在后台运行？如果你不想交互式运行，可以用于API服务测试：

docker run -d --name baichuan_service \ --gpus all \ -v $(pwd):/workspace \ -w /workspace \ -p 8000:8000 \ # 映射端口 pytorch/pytorch:2.0.1-cuda11.7-cudnn8-runtime \ python your_api_script.py

6. 总结

走完这一趟，你应该已经成功在Win11上，通过WSL2和Docker拉起了一个能跑百川2-13B的本地环境。这套组合的优势很明显：你既享受了Windows的便利和生态，又获得了Linux下一致的开发与部署体验，还通过Docker保证了环境隔离与可复现性。

对于开发者来说，这相当于在个人电脑上搭建了一个小型的、可控的“星图GPU平台”测试环境。在把代码提交到云端进行大规模训练或推理之前，你可以在这里尽情地调试代码逻辑、测试不同的提示词（Prompt）、验证模型输出效果，所有操作都是本地的，响应速度快，调试成本低。

当然，本地环境的硬件（尤其是GPU）终究有限，无法替代真正的云端算力。但对于前期开发、功能验证和小规模测试而言，这无疑是一个效率利器。下次当你需要快速验证一个关于大模型的想法时，不妨打开这个环境试试，或许能帮你节省不少等待时间。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。