GLM-4v-9b部署教程：NVIDIA Container Toolkit配置+GPU容器权限详解
1. 开篇：为什么选择GLM-4v-9b
如果你正在寻找一个既能看懂图片又能理解文字的多模态AI模型，而且希望它能在单张显卡上流畅运行，那么GLM-4v-9b可能就是你要找的解决方案。
这个模型有90亿参数，支持1120×1120的高分辨率输入，在中英文多轮对话、图像描述、视觉问答等任务上表现优异，甚至在某些测试中超过了GPT-4-turbo等知名模型。最重要的是，它只需要单张24GB显存的显卡就能运行，INT4量化后更是只需要9GB显存。
本文将手把手教你如何配置NVIDIA Container Toolkit并设置GPU容器权限，让你能够顺利部署和运行GLM-4v-9b模型。
2. 环境准备与基础配置
2.1 系统要求检查
在开始之前，请确保你的系统满足以下基本要求：
- Ubuntu 20.04或22.04 LTS（其他Linux发行版也可，但本文以Ubuntu为例）
- NVIDIA显卡驱动已安装（建议使用最新版本）
- 至少一张具有24GB显存的NVIDIA显卡（如RTX 4090）
- Docker已安装
检查显卡驱动是否正常安装：
nvidia-smi如果看到显卡信息输出，说明驱动安装正确。
2.2 Docker安装与配置
如果你还没有安装Docker，可以通过以下命令安装：
# 更新软件包列表 sudo apt-get update # 安装必要的依赖 sudo apt-get install ca-certificates curl # 添加Docker官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # 添加Docker仓库 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装Docker sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 将当前用户添加到docker组（避免每次使用sudo） sudo usermod -aG docker $USER newgrp docker3. NVIDIA Container Toolkit安装与配置
3.1 安装NVIDIA Container Toolkit
NVIDIA Container Toolkit是让Docker容器能够使用GPU的关键组件。安装步骤如下：
# 添加NVIDIA包仓库 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list # 更新软件包列表 sudo apt-get update # 安装NVIDIA Container Toolkit sudo apt-get install -y nvidia-container-toolkit # 配置Docker使用NVIDIA运行时 sudo nvidia-ctk runtime configure --runtime=docker # 重启Docker服务 sudo systemctl restart docker3.2 验证NVIDIA Container Toolkit安装
安装完成后，验证是否配置成功：
# 运行测试容器 docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi如果看到与直接在主机上运行nvidia-smi相似的输出，说明NVIDIA Container Toolkit安装成功。
4. GPU容器权限详细配置
4.1 理解Docker GPU权限
要让容器能够使用GPU，需要了解几个关键概念：
--gpus all：让容器访问所有可用的GPU--device：指定具体的设备访问权限- 环境变量：配置CUDA相关的环境变量
4.2 常用GPU权限配置方式
方式一：使用--gpus参数（推荐）
# 访问所有GPU docker run --gpus all your-image # 访问特定数量的GPU docker run --gpus 2 your-image # 访问特定设备 docker run --gpus '"device=0,1"' your-image方式二：使用NVIDIA运行时
docker run --runtime=nvidia your-image方式三：使用--device参数（较旧的方式）
docker run --device /dev/nvidia0:/dev/nvidia0 \ --device /dev/nvidiactl:/dev/nvidiactl \ --device /dev/nvidia-uvm:/dev/nvidia-uvm \ your-image4.3 容器内GPU权限验证
创建一个测试脚本来验证容器内的GPU访问权限：
# test_gpu.py import torch print("CUDA available:", torch.cuda.is_available()) if torch.cuda.is_available(): print("GPU count:", torch.cuda.device_count()) for i in range(torch.cuda.device_count()): print(f"GPU {i}: {torch.cuda.get_device_name(i)}")然后在容器中运行测试：
docker run --gpus all -v $(pwd)/test_gpu.py:/test_gpu.py \ pytorch/pytorch:2.0.1-cuda11.7-cudnn8-runtime \ python /test_gpu.py5. GLM-4v-9b容器化部署实战
5.1 准备Docker镜像
GLM-4v-9b官方提供了多种部署方式，这里我们使用vLLM进行部署。首先创建Dockerfile：
# Dockerfile FROM nvidia/cuda:12.1.1-devel-ubuntu22.04 # 设置环境变量 ENV DEBIAN_FRONTEND=noninteractive ENV PYTHONUNBUFFERED=1 # 安装系统依赖 RUN apt-get update && apt-get install -y \ python3.10 \ python3-pip \ python3.10-venv \ git \ && rm -rf /var/lib/apt/lists/* # 创建并激活虚拟环境 RUN python3.10 -m venv /opt/venv ENV PATH="/opt/venv/bin:$PATH" # 安装Python依赖 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 创建工作目录 WORKDIR /app # 暴露端口 EXPOSE 8000创建requirements.txt文件：
vllm==0.3.3 torch==2.1.2 transformers==4.36.2 accelerate==0.25.0构建镜像：
docker build -t glm-4v-9b-server .5.2 运行GLM-4v-9b容器
使用以下命令运行容器，确保正确配置GPU权限：
docker run -d \ --name glm-4v-9b \ --gpus all \ -p 8000:8000 \ -v /path/to/your/models:/app/models \ -e MODEL_NAME="THUDM/glm-4v-9b" \ glm-4v-9b-server \ python -m vllm.entrypoints.openai.api_server \ --model $MODEL_NAME \ --host 0.0.0.0 \ --port 80005.3 权限问题排查
如果遇到权限问题，可以尝试以下解决方案：
问题一：Permission denied错误
# 检查设备权限 ls -la /dev/nvidia* # 如果权限不足，可以尝试在运行时添加特权模式（不推荐用于生产环境） docker run --gpus all --privileged your-image问题二：CUDA版本不匹配
确保容器内的CUDA版本与主机驱动兼容：
# 查看主机CUDA版本 nvidia-smi # 查看容器内CUDA版本 docker run --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvcc --version6. 常见问题与解决方案
6.1 GPU设备找不到
如果容器内无法找到GPU设备，尝试：
# 检查设备映射 docker run --gpus all --rm ubuntu ls -la /dev | grep nvidia # 检查NVIDIA运行时配置 docker info | grep -i runtime6.2 内存不足错误
GLM-4v-9b需要大量显存，如果遇到内存不足：
# 使用量化版本 -e MODEL_NAME="THUDM/glm-4v-9b-int4" # 限制GPU内存使用 --gpu-memory-utilization 0.96.3 性能优化建议
# 使用Tensor并行提高多GPU性能 --tensor-parallel-size 2 # 调整批处理大小 --max-num-batched-tokens 40967. 总结
通过本文的教程，你应该已经掌握了NVIDIA Container Toolkit的配置方法和GPU容器权限的详细设置。GLM-4v-9b作为一个强大的多模态模型，现在可以在你的GPU环境中顺利运行了。
关键要点回顾：
- NVIDIA Container Toolkit是连接Docker和GPU的桥梁
--gpus all是最简单的GPU权限配置方式- 注意CUDA版本兼容性和显存需求
- GLM-4v-9b支持INT4量化，大幅降低显存需求
现在你可以开始探索GLM-4v-9b的各种应用场景了，无论是图像描述、视觉问答还是图表理解，这个强大的模型都能为你提供出色的表现。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
