DeepSeek-R1-Distill-Qwen-1.5B模型微调实战：使用自定义数据集提升领域表现

DeepSeek-R1-Distill-Qwen-1.5B模型微调实战：使用自定义数据集提升领域表现

1. 引言

你是不是也遇到过这样的情况：好不容易在本地跑通了DeepSeek-R1-Distill-Qwen-1.5B模型，却发现它在你的专业领域表现平平？比如让模型写医疗报告时总是说些外行话，或者生成法律文档时漏洞百出？

这就是通用大模型面临的共同挑战——它们虽然知识广博，但在特定领域的深度和专业性上往往力不从心。好在通过微调技术，我们可以让这个1.5B参数的"小钢炮"在特定领域大放异彩。

今天我就手把手带你完成整个微调流程，从数据准备到模型评估，让你也能打造属于自己的专业AI助手。不用担心，整个过程不需要昂贵的硬件，单张消费级显卡就能搞定！

2. 环境准备与快速部署

2.1 基础环境配置

首先确保你的环境满足基本要求。我推荐使用Anaconda来管理环境，这样能避免各种依赖冲突。

# 创建专用环境 conda create -n deepseek-finetune python=3.10 conda activate deepseek-finetune # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets accelerate peft bitsandbytes

如果你的显卡是RTX 30/40系列，建议使用CUDA 11.8版本，兼容性最好。显存方面，8GB就能进行基础微调，16GB会更从容。

2.2 模型快速下载

直接从Hugging Face下载模型是最简单的方式：

from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 设置padding token if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token

如果网络环境不稳定，可以考虑使用镜像源或者先下载到本地再加载。

3. 数据准备：打造高质量训练集

3.1 数据格式设计

微调成功的关键在于数据质量。我推荐使用对话格式，这样模型能更好地理解指令和回应之间的关系。

# 理想的数据格式示例 training_examples = [ { "instruction": "写一份糖尿病患者的饮食建议", "input": "患者年龄65岁，伴有高血压", "output": "针对65岁伴有高血压的糖尿病患者，建议...", "domain": "医疗" }, { "instruction": "分析以下合同条款的法律风险", "input": "第十条：甲方可在任何情况下单方面终止合同", "output": "该条款可能存在以下法律风险：1...", "domain": "法律" } ]

3.2 数据预处理实战

假设你已经有了一些原始文本数据，下面是如何转换成训练格式：

from datasets import Dataset import json def prepare_training_data(raw_data_path): with open(raw_data_path, 'r', encoding='utf-8') as f: raw_data = json.load(f) processed_data = [] for item in raw_data: # 构建训练文本格式 text = f"### Instruction:\n{item['instruction']}\n\n" if item.get('input'): text += f"### Input:\n{item['input']}\n\n" text += f"### Response:\n{item['output']}" processed_data.append({"text": text}) return Dataset.from_list(processed_data) # 使用示例 dataset = prepare_training_data("your_data.json")

3.3 数据质量检查

在开始训练前，一定要检查数据质量：

def check_data_quality(dataset, sample_size=5): print("数据质量检查样本：") for i in range(min(sample_size, len(dataset))): print(f"\n--- 样本 {i+1} ---") print(dataset[i]['text']) print("-" * 50) # 执行检查 check_data_quality(dataset)

确保指令清晰、回应专业，避免模糊或矛盾的样本。

4. 微调实战：两种高效方法

4.1 全参数微调（适合显存充足）

如果你有足够的显存（16GB+），全参数微调能获得最好的效果。

from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./deepseek-finetuned", per_device_train_batch_size=4, gradient_accumulation_steps=4, num_train_epochs=3, learning_rate=2e-5, fp16=True, logging_steps=10, save_steps=500, eval_steps=500, evaluation_strategy="steps", save_total_limit=2, ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset, tokenizer=tokenizer, ) trainer.train()

4.2 LoRA微调（显存友好推荐）

对于显存有限的用户，LoRA是更好的选择：

from peft import LoraConfig, get_peft_model, TaskType # 配置LoRA参数 lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, target_modules=["q_proj", "v_proj"] # 针对Qwen架构 ) # 应用LoRA model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 训练参数（批处理大小可以更大） training_args = TrainingArguments( output_dir="./deepseek-lora", per_device_train_batch_size=8, # 更大的批处理大小 gradient_accumulation_steps=2, num_train_epochs=4, learning_rate=3e-4, # LoRA通常需要更大的学习率 fp16=True, logging_steps=10, ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset, tokenizer=tokenizer, ) trainer.train()

5. 训练过程监控与调试

5.1 损失监控

训练过程中要密切关注损失变化：

import matplotlib.pyplot as plt def plot_training_loss(log_history): losses = [log['loss'] for log in log_history if 'loss' in log] steps = [log['step'] for log in log_history if 'loss' in log] plt.figure(figsize=(10, 6)) plt.plot(steps, losses) plt.title('Training Loss') plt.xlabel('Steps') plt.ylabel('Loss') plt.grid(True) plt.show() # 训练后查看损失曲线 plot_training_loss(trainer.state.log_history)

如果损失下降缓慢或者波动太大，可能需要调整学习率或检查数据质量。

5.2 中间结果验证

训练过程中定期验证模型输出：

def test_model_output(model, tokenizer, test_input): model.eval() inputs = tokenizer(test_input, return_tensors="pt") with torch.no_grad(): outputs = model.generate( inputs.input_ids, max_length=200, num_return_sequences=1, temperature=0.7, do_sample=True ) return tokenizer.decode(outputs[0], skip_special_tokens=True) # 测试示例 test_input = "### Instruction:\n写一份高血压患者的运动建议\n\n### Response:" print(test_model_output(model, tokenizer, test_input))

6. 模型评估与效果对比

6.1 自动化评估指标

使用标准指标评估模型性能：

from evaluate import load bleu = load("bleu") rouge = load("rouge") def evaluate_model(model, tokenizer, test_dataset): references = [] predictions = [] for example in test_dataset[:10]: # 取10个样本测试 # 生成预测 input_text = example['text'].split("### Response:")[0] + "### Response:" prediction = test_model_output(model, tokenizer, input_text) # 提取实际回应 actual_response = example['text'].split("### Response:")[1].strip() predictions.append(prediction) references.append(actual_response) # 计算指标 bleu_score = bleu.compute(predictions=predictions, references=references) rouge_score = rouge.compute(predictions=predictions, references=references) return bleu_score, rouge_score

6.2 人工评估指南

自动化指标只能作为参考，最终还要靠人工评估：

1. 相关性：回应是否切题？
2. 准确性：信息是否准确专业？
3. 完整性：是否涵盖了所有要点？
4. 流畅性：语言是否自然流畅？

建议找领域专家进行盲测，对比微调前后的效果差异。

7. 模型部署与使用

7.1 保存最终模型

训练完成后保存模型：

# 保存LoRA模型 model.save_pretrained("./final-model") tokenizer.save_pretrained("./final-model") # 如果你需要合并权重（仅LoRA） from peft import PeftModel # 先加载原始模型 base_model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B") # 合并权重 merged_model = PeftModel.from_pretrained(base_model, "./final-model") merged_model = merged_model.merge_and_unload() merged_model.save_pretrained("./merged-model")

7.2 推理优化

为了提升推理速度，可以考虑量化：

from transformers import BitsAndBytesConfig quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16, bnb_4bit_quant_type="nf4", ) quantized_model = AutoModelForCausalLM.from_pretrained( "./merged-model", quantization_config=quantization_config, device_map="auto" )

8. 常见问题与解决方案

8.1 显存不足问题

如果遇到显存不足，可以尝试：

# 梯度检查点 model.gradient_checkpointing_enable() # 更深的梯度累积 training_args.gradient_accumulation_steps = 8 # 使用更小的批处理大小 training_args.per_device_train_batch_size = 2

8.2 过拟合处理

如果模型开始过拟合：

# 增加dropout training_args.dropout = 0.2 # 早停机制 training_args.load_best_model_at_end = True training_args.metric_for_best_model = "eval_loss" training_args.evaluation_strategy = "epoch"

8.3 生成质量不佳

如果生成内容不理想：

# 调整生成参数 outputs = model.generate( input_ids, max_length=300, temperature=0.8, # 降低温度减少随机性 top_p=0.9, # 核采样 repetition_penalty=1.1, # 减少重复 do_sample=True )

9. 总结

通过这次实战，我们完整走完了DeepSeek-R1-Distill-Qwen-1.5B模型的微调流程。从数据准备到模型评估，每个环节都有其重要性。

实际用下来，这个1.5B的模型在微调后确实能在特定领域表现出色，虽然参数量不大，但效果足够实用。LoRA技术让微调变得触手可及，即使只有8GB显存也能获得不错的效果。

关键是要重视数据质量——好的训练数据是成功的一半。另外，不要一味追求训练轮数，适当的早停和验证能避免过拟合。

如果你刚开始接触模型微调，建议先从一个小领域开始，比如专门训练模型写某种类型的文档或回答某类问题。有了经验后再尝试更复杂的场景。

微调后的模型可以集成到各种应用中，比如智能客服、内容生成、专业咨询等，为你的业务增添AI智能。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。