Qwen2.5-Coder-1.5B教程：Ubuntu系统下的深度学习环境配置-育师

Qwen2.5-Coder-1.5B教程：Ubuntu系统下的深度学习环境配置

1. 开篇：为什么选择这个组合？

如果你正在寻找一个既轻量又强大的代码生成模型，Qwen2.5-Coder-1.5B绝对值得一试。这个1.5B参数的模型在代码生成、代码推理和代码修复方面表现出色，特别适合本地开发和实验。

今天我要带你一步步在Ubuntu系统上配置完整的深度学习环境，让你能够充分发挥Qwen2.5-Coder-1.5B的潜力。不用担心，即使你是Linux新手，跟着这个教程走也能轻松搞定。

2. 环境准备：检查你的硬件和系统

在开始之前，我们先确认一下你的系统是否符合要求。打开终端，运行以下命令：

# 检查Ubuntu版本 lsb_release -a # 检查GPU信息（如果你有NVIDIA显卡） nvidia-smi # 检查系统内存 free -h

最低要求：

Ubuntu 18.04或更高版本
至少8GB系统内存
如果有GPU，需要支持CUDA的NVIDIA显卡（非必须，但推荐）

推荐配置：

Ubuntu 20.04或22.04 LTS
16GB或更多系统内存
NVIDIA GPU（RTX 3060或更高，至少8GB显存）

3. 安装NVIDIA驱动和CUDA工具包

如果你有NVIDIA显卡，这是最关键的一步。我们来安装最新版本的驱动和CUDA：

# 添加NVIDIA包仓库 sudo apt update sudo apt install -y software-properties-common sudo add-apt-repository -y ppa:graphics-drivers/ppa # 安装推荐版本的驱动 sudo ubuntu-drivers autoinstall # 重启系统使驱动生效 sudo reboot

重启后，验证驱动安装：

# 检查驱动版本 nvidia-smi # 安装CUDA工具包（以CUDA 12.2为例） wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda-toolkit-12-2

4. 安装cuDNN库

cuDNN是NVIDIA的深度学习加速库，能显著提升模型推理速度：

# 下载cuDNN（需要先注册NVIDIA开发者账号） # 从官网下载对应CUDA版本的cuDNN包，例如： # https://developer.nvidia.com/cudnn # 假设你已经下载了cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz tar -xvf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

5. 配置Python环境

建议使用Miniconda来管理Python环境，避免版本冲突：

# 下载并安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh # 创建专门的conda环境 conda create -n qwen-coder python=3.10 -y conda activate qwen-coder # 安装PyTorch（选择与你的CUDA版本匹配的版本） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 安装transformers和其他依赖 pip install transformers accelerate sentencepiece tiktoken

6. 验证环境配置

现在让我们测试一下所有组件是否正常工作：

# 验证CUDA是否可用 python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')" python -c "import torch; print(f'CUDA version: {torch.version.cuda}')" # 验证cuDNN python -c "import torch; print(f'cuDNN version: {torch.backends.cudnn.version()}')" # 测试简单的GPU计算 python -c " import torch x = torch.randn(3, 3).cuda() y = x * 2 print('GPU计算测试通过:', y.shape) "

7. 下载和运行Qwen2.5-Coder-1.5B

环境配置完成后，我们来测试模型：

from transformers import AutoModelForCausalLM, AutoTokenizer # 下载模型（第一次运行会自动下载） model_name = "Qwen/Qwen2.5-Coder-1.5B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto" ) # 测试代码生成 prompt = "写一个Python函数计算斐波那契数列" inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=200) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print("生成的代码:") print(result)

8. 常见问题解决

在实际配置过程中，你可能会遇到这些问题：

驱动安装失败：确保你的Ubuntu版本支持当前的NVIDIA驱动版本，可以尝试使用不同的驱动版本。

CUDA版本不匹配：PyTorch的CUDA版本需要与系统安装的CUDA版本一致，安装时注意选择正确的PyTorch版本。

内存不足：如果GPU内存不足，可以尝试使用更小的模型或者启用CPU模式：

# 使用CPU模式 model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="cpu" )

下载速度慢：可以设置镜像源加速下载：

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

9. 环境优化建议

为了让Qwen2.5-Coder-1.5B运行得更流畅，这里有一些优化建议：

启用量化：使用4位或8位量化减少内存占用：

from transformers import BitsAndBytesConfig quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16 ) model = AutoModelForCausalLM.from_pretrained( model_name, quantization_config=quantization_config, device_map="auto" )

调整批处理大小：根据你的GPU内存调整批处理大小，找到性能与内存使用的最佳平衡点。

使用更快的推理后端：考虑使用vLLM或TensorRT等推理加速库来提升性能。