DeepSeek-R1-Distill-Qwen-1.5B服务未启动？工作目录检查详细步骤

DeepSeek-R1-Distill-Qwen-1.5B服务未启动？工作目录检查详细步骤

你是不是刚部署完DeepSeek-R1-Distill-Qwen-1.5B模型，满心期待地准备测试，结果发现服务好像没启动起来？别着急，这种情况我遇到过很多次。很多时候问题其实很简单，就是工作目录没找对，或者启动日志没仔细看。

今天我就带你一步步排查，从检查工作目录到查看启动日志，再到实际测试服务，让你彻底搞清楚模型服务到底启动成功了没有。

1. 先认识一下这个轻量级模型

DeepSeek-R1-Distill-Qwen-1.5B是个挺有意思的模型，它是DeepSeek团队在Qwen2.5-Math-1.5B基础上做的轻量化版本。简单来说，它做了三件事：

参数压缩：通过一些技术手段，把模型大小压缩到15亿参数级别，但还能保持原来85%以上的精度。这就像把一本厚书精简成薄册子，核心内容还在，但携带更方便。

任务优化：在训练时加入了一些特定领域的数据，比如法律文书、医疗问答这些。所以它在这些专业场景下表现会更好，比普通模型能提升12-15个百分点的准确率。

硬件友好：支持INT8量化，内存占用比原来的FP32模式降低了75%。这意味着你可以在像NVIDIA T4这样的普通显卡上就能跑起来，不需要特别高端的设备。

2. 使用这个模型的小建议

在开始检查服务之前，我先分享几个使用这个模型的小技巧，这些是官方建议的配置：

温度设置：最好设置在0.5-0.7之间，推荐用0.6。温度太高了模型容易说车轱辘话，或者输出不连贯的内容。

提示词写法：不要加系统提示，所有指令都放在用户提示里。比如你想让模型帮你写诗，就直接说“请写一首关于春天的诗”，不要在前面加“你是一个诗人”这样的系统提示。

数学问题处理：如果要问数学题，记得在提示里加上这句话：“请逐步推理，并将最终答案放在\boxed{}内。”这样模型会按照步骤推理，最后把答案框起来。

多次测试：评估模型性能时，建议多测几次取平均值。有时候一次测试可能有偶然性。

一个小技巧：这个模型有时候会跳过思考直接输出，为了确保它充分推理，可以在提示里要求它每次输出都以“\n”开头。

3. 检查服务是否启动成功

好了，现在进入正题。如果你的服务看起来没启动，或者你不知道怎么确认它是否启动成功，跟着下面这些步骤来。

3.1 第一步：找到正确的工作目录

这是最容易出错的地方。很多人部署完模型，就直接在当前目录下查看，结果发现什么都没有。其实模型服务通常运行在特定的工作目录里。

打开终端，输入这个命令：

cd /root/workspace

这个/root/workspace目录就是模型服务运行的工作目录。如果你在其他地方查看，肯定是看不到启动日志的。

3.2 第二步：查看启动日志

进入工作目录后，现在可以查看启动日志了：

cat deepseek_qwen.log

这个deepseek_qwen.log文件记录了模型服务启动的所有信息。如果服务启动成功，你会看到类似这样的输出：

INFO 07-15 10:30:25 llm_engine.py:73] Initializing an LLM engine with config: model='/root/models/DeepSeek-R1-Distill-Qwen-1.5B', tokenizer='/root/models/DeepSeek-R1-Distill-Qwen-1.5B', tokenizer_mode=auto, trust_remote_code=True, dtype=torch.float16, ... INFO 07-15 10:30:28 llm_engine.py:188] # GPU blocks: 497, # CPU blocks: 512 INFO 07-15 10:30:29 model_runner.py:71] Loading weights from /root/models/DeepSeek-R1-Distill-Qwen-1.5B INFO 07-15 10:30:32 model_runner.py:85] Finished loading weights in 3.45 seconds INFO 07-15 10:30:33 llm_engine.py:284] LLM engine is ready INFO 07-15 10:30:33 api_server.py:132] Started server process [12345] INFO 07-15 10:30:33 api_server.py:136] Waiting for application startup. INFO 07-15 10:30:33 api_server.py:149] Application startup complete. INFO 07-15 10:30:33 api_server.py:154] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

关键要看最后几行：

• 看到LLM engine is ready，说明模型引擎初始化成功了
• 看到Application startup complete，说明应用启动完成了
• 看到Uvicorn running on http://0.0.0.0:8000，说明服务已经在8000端口运行了

如果看到这些信息，恭喜你，服务已经启动成功了！

3.3 第三步：常见问题排查

如果日志显示有问题，这里有几个常见的情况和解决方法：

情况一：端口被占用

ERROR: [Errno 98] Address already in use

这说明8000端口已经被其他程序占用了。解决方法：

# 查看哪个进程占用了8000端口 lsof -i:8000 # 然后结束那个进程，或者修改vllm的启动端口

情况二：模型文件找不到

FileNotFoundError: [Errno 2] No such file or directory: '/root/models/DeepSeek-R1-Distill-Qwen-1.5B'

这说明模型文件没放在正确的位置。确保模型文件下载到了/root/models/目录下。

情况三：内存不足

CUDA out of memory

虽然这个模型比较轻量，但如果你的显卡内存太小，也可能出现这个问题。可以尝试减小max_model_len参数，或者使用量化版本。

4. 测试模型服务是否真的能用

看到启动成功的日志还不够，我们得实际测试一下服务能不能正常响应。这里我给你准备了一个完整的测试脚本。

4.1 打开Jupyter Lab

首先，打开Jupyter Lab，创建一个新的Python笔记本。如果你不知道怎么打开，通常在终端输入jupyter lab就行。

4.2 调用模型测试

把下面的代码复制到笔记本的一个单元格里，然后运行：

from openai import OpenAI import requests import json class LLMClient: def __init__(self, base_url="http://localhost:8000/v1"): self.client = OpenAI( base_url=base_url, api_key="none" # vllm通常不需要API密钥 ) self.model = "DeepSeek-R1-Distill-Qwen-1.5B" def chat_completion(self, messages, stream=False, temperature=0.7, max_tokens=2048): """基础的聊天完成功能""" try: response = self.client.chat.completions.create( model=self.model, messages=messages, temperature=temperature, max_tokens=max_tokens, stream=stream ) return response except Exception as e: print(f"API调用错误: {e}") return None def stream_chat(self, messages): """流式对话示例""" print("AI: ", end="", flush=True) full_response = "" try: stream = self.chat_completion(messages, stream=True) if stream: for chunk in stream: if chunk.choices[0].delta.content is not None: content = chunk.choices[0].delta.content print(content, end="", flush=True) full_response += content print() # 换行 return full_response except Exception as e: print(f"流式对话错误: {e}") return "" def simple_chat(self, user_message, system_message=None): """简化版对话接口""" messages = [] if system_message: messages.append({"role": "system", "content": system_message}) messages.append({"role": "user", "content": user_message}) response = self.chat_completion(messages) if response and response.choices: return response.choices[0].message.content return "请求失败" # 使用示例 if __name__ == "__main__": # 初始化客户端 llm_client = LLMClient() # 测试普通对话 print("=== 普通对话测试 ===") response = llm_client.simple_chat( "请用中文介绍一下人工智能的发展历史", "你是一个有帮助的AI助手" ) print(f"回复: {response}") print("\n=== 流式对话测试 ===") messages = [ {"role": "system", "content": "你是一个诗人"}, {"role": "user", "content": "写两首关于秋天的五言绝句"} ] llm_client.stream_chat(messages)

4.3 理解测试代码

这个测试脚本做了几件事：

初始化客户端：连接到本地的8000端口，这就是vllm服务运行的端口。注意这里api_key设成了"none"，因为vllm通常不需要认证。

两种对话方式：

• simple_chat：一次性获取完整回复，适合快速测试
• stream_chat：流式输出，一个字一个字地显示，体验更好

测试场景：

1. 先测试一个普通的知识问答：“请用中文介绍一下人工智能的发展历史”
2. 再测试一个创意写作：“写两首关于秋天的五言绝句”

4.4 查看测试结果

如果一切正常，你会看到类似这样的输出：

=== 普通对话测试 === 回复: 人工智能的发展历史可以追溯到20世纪50年代。1956年，约翰·麦卡锡等科学家在达特茅斯会议上首次提出了“人工智能”这一术语，标志着AI领域的正式诞生。早期AI研究主要集中于符号推理和问题求解，如艾伦·纽厄尔和赫伯特·西蒙开发的逻辑理论家程序。70年代经历了“AI寒冬”，资金和兴趣减少。80年代专家系统兴起，AI在商业领域得到应用。90年代机器学习开始发展，特别是统计学习方法的引入。21世纪初，随着大数据和计算能力的提升，深度学习取得突破性进展，在图像识别、自然语言处理等领域表现卓越。近年来，大语言模型和生成式AI的兴起，如GPT系列，推动了AI技术的普及和应用拓展。 === 流式对话测试 === AI: 《秋思》 金风送爽至，玉露润枯枝。 雁阵南飞去，乡心日夜驰。 枫红如火炽，菊艳似金披。 独坐书窗下，幽怀谁与知？ 《秋夜》 月白风清夜，蛩声入户来。 露凝千草白，霜染万枫绯。 灯下翻书卷，窗前望斗魁。 秋深寒意重，犹自忆春回。

看到这样的回复，就说明你的DeepSeek-R1-Distill-Qwen-1.5B服务完全正常，可以开始使用了！

5. 如果测试失败了怎么办？

如果测试脚本报错了，别慌，我们一步步排查：

错误一：连接被拒绝

ConnectionRefusedError: [Errno 111] Connection refused

这说明服务根本没在8000端口运行。回到第3步，重新检查启动日志，看看服务是不是真的启动了。

错误二：模型名称不对

404 Client Error: Not Found for url: http://localhost:8000/v1/chat/completions

检查一下代码里的模型名称是不是DeepSeek-R1-Distill-Qwen-1.5B。有时候模型名称大小写或者空格不对都会导致这个问题。

错误三：超时

TimeoutError: [Errno 110] Connection timed out

可能是模型第一次推理需要加载时间，稍微等一会儿再试。如果一直超时，可能是服务卡住了，需要重启服务。

最简单的检查方法：直接在浏览器里访问http://localhost:8000/docs，如果能看到Swagger API文档页面，说明服务是正常的。

6. 总结一下排查流程

通过今天的内容，你应该掌握了完整的DeepSeek-R1-Distill-Qwen-1.5B服务排查流程：

1. 定位工作目录：首先确保你在/root/workspace目录下
2. 查看启动日志：用cat deepseek_qwen.log查看服务启动状态
3. 理解成功标志：看到LLM engine is ready和Application startup complete就是成功了
4. 实际测试服务：用Python脚本调用服务，验证是否能正常返回结果
5. 问题排查：根据错误信息针对性解决

这个模型虽然只有1.5B参数，但在很多任务上表现不错，特别是经过领域数据增强后，在专业场景下很有优势。而且它内存占用小，部署方便，适合想要快速上手体验AI能力的开发者。

记住，技术问题很多时候就是细节没注意到。工作目录不对、端口被占用、模型名称写错，这些都是常见的小问题。按照上面的步骤一步步来，你一定能成功启动并使用这个模型。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。