【2026】 LLM 大模型系统学习指南 (57)

Learning from Human Preference—— 从人类偏好中学习，让 LLM 贴合真实需求

本次作业的核心是LLM 的人类偏好学习全流程实操，这是承接 LLM 实战打磨阶段的核心进阶内容，也是让模型从 “会执行指令” 升级为 “输出贴合人类预期、符合场景偏好” 的关键技术。通用 LLM 或仅经过指令微调的模型，往往会出现 “输出正确但不符合人类使用习惯”“贴合通用需求但不匹配特定场景偏好” 的问题，而从人类偏好中学习，就是将人类的主观评价、场景化偏好转化为模型可学习的优化目标，通过量化偏好、定向训练，让模型的输出越来越贴合人类的审美、习惯和特定场景的需求。

本次作业结合高中编程教学的专属场景，聚焦入门易实现、低算力的人类偏好学习方法，从偏好数据标注、轻量偏好训练（DPO）到效果验证与优化层层推进，同时兼顾进阶的RLHF 简易实现，让学习者掌握人类偏好学习的核心逻辑 ——把人类的 “喜欢什么、不喜欢什么” 转化为模型的训练目标，最终让 LLM 在高中编程教学场景中，输出更通俗、更贴合学生认知、更符合教学习惯的内容。

一、作业核心目标

1. 能力目标：理解人类偏好学习的核心意义，区分基于人类偏好的训练与传统指令微调的差异，掌握主流偏好学习方法（RLHF、DPO/IPO）的核心逻辑，形成 “以人类需求为核心优化模型” 的思维；
2. 技术目标：掌握人类偏好学习的核心流程，能独立完成场景化偏好数据标注、DPO 轻量微调（无奖励模型）的全流程实操，理解奖励模型（RM）的训练逻辑，能完成简易 RLHF 的落地，解决偏好训练中数据标注、模型收敛等基础问题；
3. 应用目标：针对高中编程教学场景完成 LLM 的偏好学习，让模型的输出贴合该场景的人类偏好（如通俗化、校园场景类比、适配高一零基础学生），并能完成训练后模型的效果验证与场景化部署。

二、偏好学习前置基础：核心概念与入门技术选型

在实操前需掌握人类偏好学习的核心概念，同时遵循轻量、低算力、易上手的原则做好技术选型，避开高阶强化学习的复杂算力壁垒，这是完成本次作业的关键。

1. 核心概念：什么是 LLM 的人类偏好学习？

LLM 的人类偏好学习（Learning from Human Preference）是指以人类对模型输出的主观评价、偏好排序 / 打分为监督信号，训练模型调整生成策略，让模型的输出更符合人类的价值判断、使用习惯和特定场景偏好的技术。

其与传统指令微调的核心区别在于监督信号的不同，也是两者效果差异的根源：

• 传统指令微调：监督信号是人工设计的 “指令 - 标准答案”，模型学习 “如何按指令生成正确的输出”；
• 人类偏好学习：监督信号是人类对模型多个输出的 “偏好排序 / 打分”，模型学习 “如何生成人类更喜欢、更贴合预期的输出”。

通俗示例：针对指令 “用校园场景解释 Python 循环”，指令微调仅让模型生成 “正确的解释”，而偏好学习会让模型生成 “人类（老师 / 学生）更喜欢的、更生动的校园类比解释”，解决 “正确但不好用” 的问题。

2. 主流偏好学习方法：从复杂到简易的梯度

人类偏好学习的主流方法分为经典全流程（RLHF）和轻量简化版（DPO/IPO），本次作业以 DPO 为核心必做内容（入门易实现），以 RLHF 为进阶内容（理解核心流程），两者均围绕 “人类偏好” 展开，核心目标一致。

表格

3. 入门技术选型（全程低算力，本地 / Colab 可运行）

技术选型贴合高中编程教学场景，均采用开源、轻量、低显存的模型和框架，无需高端 GPU，普通电脑 / Colab 免费版即可完成：

• 基础模型：Phi-2（2.7B）/LLaMA 3-8B-Instruct（4bit 量化版）—— 轻量、推理快，8G 显存即可运行；
• 核心框架：Transformers、PEFT、Accelerate、DPO 库（trl）——HuggingFace 生态，封装度高，易上手；
• 偏好数据场景：高中编程教学（讲解知识点、代码生成、作业批改）—— 场景单一，小样本即可出效果；
• 训练方法：LoRA+DPO—— 参数高效微调 + 直接偏好优化，仅训练少量参数，避免灾难性遗忘；
• 运行环境：本地 GPU（NVIDIA GTX1660 及以上）/Colab T4（免费云端 GPU）；
• 部署工具：Streamlit—— 低代码，快速搭建场景化交互验证界面。

4. 偏好数据标注基础：格式与原则

人类偏好学习的效果70% 取决于偏好数据的质量，入门阶段无需海量数据，20-30 条高质量、场景化的偏好数据即可实现明显的效果提升，数据标注需遵循固定格式和三大核心原则。

（1）核心标注格式：指令 - 优选输出 - 次选输出（Pairwise Data）

入门阶段采用成对数据标注，这是 DPO/RLHF 最通用的格式，无需复杂打分，仅需对模型的两个输出标注 “偏好 / 更优” 和 “次优 / 不偏好”，格式如下：

表格

（2）三大标注原则（高中编程教学场景）

1. 场景贴合：所有指令、输出均围绕高中高一 Python 编程教学，输出需适配零基础学生的认知，避免专业术语；
2. 偏好明确：优选 / 次选输出的差异需清晰，符合该场景的人类偏好（如通俗化 > 技术化、校园类比 > 纯理论、带注释 > 无注释）；
3. 质量合格：优选和次选输出均需逻辑正确、无错误（仅偏好差异，非对错差异），避免标注错误输出作为次选。

三、核心任务拆解

本次作业按必做任务（60 分，DPO 核心实操）+ 进阶任务（40 分，RLHF 简易实现 + 优化部署）设计，层层递进，所有任务均围绕高中编程教学场景展开，确保实操的场景化和实用性，拒绝无意义的纯技术训练。

必做任务：DPO 轻量偏好微调 —— 从数据标注到效果验证

任务目标

掌握人类偏好学习的核心流程，完成高中编程教学场景的偏好数据标注，用LoRA+DPO对轻量模型（Phi-2）进行轻量偏好微调，完成微调前后模型输出的偏好效果对比，验证模型的输出是否更贴合该场景的人类偏好。

任务要求

1. 提交高中编程教学场景偏好数据集（≥20 条，成对数据格式：instruction-chosen-rejected，csv/json 均可），标注符合三大原则，偏好差异清晰；
2. 提交完整 DPO 微调代码（带详细注释，可直接运行），采用 LoRA+DPO，仅训练少量参数，无语法错误；
3. 提交偏好学习效果对比报告（至少 5 个测试指令），对比微调前后模型的输出，明确说明微调后模型的输出更贴合高中编程教学的人类偏好；
4. 确保微调后的模型在场景中，输出更通俗、更易理解、更贴合高一学生认知。

核心步骤拆解

1. 偏好数据标注：按成对数据格式，标注 20 + 条高中编程教学场景的偏好数据，保存为 csv/json；
2. 环境搭建：安装 Transformers、PEFT、trl（DPO 库）、Accelerate 等核心依赖；
3. 数据预处理：将标注数据格式化，转化为模型可训练的格式，划分训练 / 验证集；
4. DPO 微调配置：加载轻量模型 / 分词器，配置 LoRA 超参数和 DPO 训练超参数；
5. 模型训练：启动 LoRA+DPO 微调，监控训练损失，确保模型收敛；
6. 效果验证：用相同的测试指令，调用微调前后的模型，对比输出的偏好贴合度。

进阶任务：RLHF 简易实现 + 模型优化与部署

任务目标

理解经典人类偏好学习方法 RLHF 的核心流程，完成简易奖励模型（RM）训练 + PPO 微调，同时对偏好学习后的模型进行优化，并部署为高中编程教学场景的交互式应用，实现从 “训练” 到 “落地” 的闭环。

任务要求

1. RLHF 简易实现：基于必做任务的偏好数据，训练简易奖励模型，完成轻量 PPO 微调，提交RM+PPO 完整代码和训练日志；
2. 模型优化：从数据质量（增加 5-10 条多样化偏好数据）、超参数（调整 DPO/PPO 学习率）两个维度优化模型，提交优化后的效果对比报告；
3. 场景化部署：用 Streamlit 搭建简易交互应用，实现 “输入高中编程教学指令→模型输出贴合偏好的结果”，提交部署代码 + 运行截图；
4. 确保部署后的应用运行稳定、响应快速、输出贴合场景偏好。

四、实操演示：DPO 轻量偏好微调全流程（基于 Phi-2，高中编程教学场景）

以下是基于Phi-2 模型、高中编程教学场景的完整 DPO 微调实操代码，采用LoRA+DPO的轻量训练方式，涵盖数据加载、模型配置、训练、效果验证全流程，带详细注释，可直接在本地 / Colab 运行，是完成必做任务的核心参考。

1. 环境搭建（安装核心依赖）

bash

运行

# 安装核心框架：transformers/peft/accelerate pip install transformers peft accelerate torch pandas numpy # 安装DPO专用库：trl（HuggingFace官方） pip install trl evaluate scikit-learn

2. 完整 DPO 微调代码（带效果验证）

python

运行

# 导入核心库 import torch import pandas as pd from datasets import Dataset, DatasetDict from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig ) from peft import LoraConfig, PeftModel from trl import DPOTrainer import warnings warnings.filterwarnings("ignore") # ************************** 1. 基础配置（可按需修改）************************** # 模型选择：Phi-2 MODEL_NAME = "microsoft/phi-2" # LoRA超参数（入门推荐默认） LORA_R = 8 LORA_ALPHA = 16 LORA_DROPOUT = 0.05 # DPO训练超参数 TRAIN_BATCH_SIZE = 1 LEARNING_RATE = 5e-5 NUM_EPOCHS = 5 MAX_LENGTH = 256 # 输入最大长度 # 偏好数据路径（替换为你的成对偏好数据csv路径） DATA_PATH = "high_school_python_preference.csv" # 微调后模型保存路径 SAVE_PATH = "phi2_dpo_python_teaching" # 设备配置：自动识别GPU/CPU DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # ************************** 2. 加载并预处理偏好数据 ************************** # 加载本地成对偏好数据（instruction, chosen, rejected） df = pd.read_csv(DATA_PATH) df = df[["instruction", "chosen", "rejected"]].dropna() # 过滤空值 # 格式化数据：拼接指令与输出，符合模型输入习惯 def format_data(example): example["chosen"] = f"### Instruction:\n{example['instruction']}\n### Response:\n{example['chosen']}" example["rejected"] = f"### Instruction:\n{example['instruction']}\n### Response:\n{example['rejected']}" return example # 转为HuggingFace Dataset格式并格式化 dataset = Dataset.from_pandas(df) dataset = dataset.map(format_data) # 划分训练集/验证集（9:1） dataset = dataset.train_test_split(test_size=0.1, seed=42) dataset = DatasetDict({"train": dataset["train"], "test": dataset["test"]}) # ************************** 3. 加载模型和分词器 ************************** # 分词器配置 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) tokenizer.pad_token = tokenizer.eos_token # Phi-2无默认pad_token，设置为eos_token tokenizer.padding_side = "right" # 4bit量化配置（低算力必备，减少显存占用） bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True ) # 加载模型（带量化） model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, quantization_config=bnb_config, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True ) model.config.use_cache = False # 关闭缓存，支持训练 model.config.pretraining_tp = 1 # ************************** 4. 配置LoRA和DPO训练参数 ************************** # LoRA配置（Phi-2目标层） lora_config = LoraConfig( r=LORA_R, lora_alpha=LORA_ALPHA, lora_dropout=LORA_DROPOUT, target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], bias="none", task_type="CAUSAL_LM" ) # 训练参数配置 training_args = TrainingArguments( output_dir="./dpo_train_logs", per_device_train_batch_size=TRAIN_BATCH_SIZE, per_device_eval_batch_size=TRAIN_BATCH_SIZE, learning_rate=LEARNING_RATE, num_train_epochs=NUM_EPOCHS, logging_steps=5, save_strategy="epoch", evaluation_strategy="epoch", gradient_accumulation_steps=4, fp16=True if torch.cuda.is_available() else False, weight_decay=0.01, warmup_steps=10, report_to="none", save_total_limit=1 ) # DPO训练器配置（核心） dpo_trainer = DPOTrainer( model=model, args=training_args, train_dataset=dataset["train"], eval_dataset=dataset["test"], peft_config=lora_config, tokenizer=tokenizer, max_prompt_length=MAX_LENGTH, max_length=2*MAX_LENGTH, beta=0.1, # DPO核心超参数，控制偏好强度 ) # ************************** 5. 启动DPO微调 ************************** print("开始LoRA+DPO偏好微调...") dpo_trainer.train() # 保存微调后的LoRA适配器（仅几MB，易保存/部署） dpo_trainer.save_model(SAVE_PATH) print(f"DPO微调完成，模型保存至：{SAVE_PATH}") # ************************** 6. 效果验证：对比微调前后的输出 ************************** # 加载微调前的基础模型 base_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, quantization_config=bnb_config, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True ) # 加载微调后的DPO模型（基础模型+LoRA适配器） dpo_model = PeftModel.from_pretrained(base_model, SAVE_PATH, device_map="auto") # 生成函数：统一生成配置 def generate_response(model, instruction): prompt = f"### Instruction:\n{instruction}\n### Response:\n" inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE) outputs = model.generate( **inputs, max_new_tokens=200, temperature=0.3, # 调低温度，让输出更精准 top_p=0.9, pad_token_id=tokenizer.eos_token_id, do_sample=True ) return tokenizer.decode(outputs[0], skip_special_tokens=True).replace(prompt, "") # 测试指令（高中编程教学场景） test_instructions = [ "用校园场景解释Python循环", "生成高一零基础能懂的Python加法代码", "批改这段代码：print(Hello World)" ] # 对比输出 for inst in test_instructions: print("="*80) print(f"测试指令：{inst}") print("-"*40) print(f"微调前（基础Phi-2）输出：\n{generate_response(base_model, inst)}") print("-"*40) print(f"微调后（DPO偏好训练）输出：\n{generate_response(dpo_model, inst)}") print("="*80)

3. 核心运行效果说明

微调前的基础 Phi-2 输出：偏通用、技术化，无校园场景类比，不符合高一学生认知，如解释 Python 循环仅讲 “重复执行代码块，分 for/while 循环”；微调后的 DPO 模型输出：贴合高中编程教学偏好，通俗化、带校园类比、适配零基础，如解释 Python 循环为 “Python 循环就像课间操全班同学依次报数，重复执行报数这个动作，for 循环就是指定报数 1 到 50，while 循环是直到报完才停止”。

这一差异正是人类偏好学习的核心价值：让模型的输出从 “正确” 升级为 “贴合人类场景偏好”。

五、进阶任务：RLHF 简易实现与模型部署

完成 DPO 核心微调后，进阶任务聚焦经典 RLHF 的简易实现和模型的场景化部署，让学习者理解完整的人类偏好学习逻辑，同时实现从 “训练” 到 “落地使用” 的闭环。

1. RLHF 简易实现：奖励模型（RM）+ PPO 微调

基于必做任务的成对偏好数据，RLHF 的核心分为两步，入门阶段采用轻量训练方式，无需复杂的算力：

步骤 1：训练奖励模型（RM）

将成对偏好数据（instruction-chosen-rejected）转化为 “指令 - 输出 - 打分” 数据，训练一个简单的回归模型，让其能为模型输出量化的奖励分数（优选输出分数 > 次选输出分数），核心逻辑与 LLM 实战打磨阶段的奖励模型一致，可直接复用该阶段的代码，仅替换为高中编程教学场景的偏好数据。

步骤 2：PPO 强化学习微调

以奖励模型的分数为奖励信号，用 trl 库中的 PPOTrainer 对基础模型进行轻量强化学习微调，让模型朝着 “获得更高奖励分数” 的方向优化生成策略，最终实现贴合人类偏好的效果。

2. 模型场景化部署：Streamlit 低代码实现

用Streamlit搭建高中编程教学场景的交互式应用，实现 “输入指令→模型输出贴合偏好的结果”，无需前端知识，核心代码复用作业五的部署框架，仅替换为 DPO/RLHF 微调后的模型即可，运行命令为streamlit run app.py，实现可视化的效果验证和使用。

六、避坑指南：人类偏好学习的高频问题与解决方案

入门阶段进行人类偏好学习（DPO/RLHF），最易遇到数据标注、训练收敛、输出偏好贴合度低等问题，以下是 90% 的入门坑点及对应的解决方案，确保实操顺利进行：

1. 偏好数据标注错误 / 偏好差异不清晰
   • 问题：优选和次选输出无明显偏好差异，或次选输出存在逻辑错误；
   • 解决：严格遵循三大标注原则，确保优选 / 次选的差异围绕 “通俗化、校园类比、贴合学生认知”，次选输出需逻辑正确，仅为 “不贴合偏好” 而非 “错误”。
2. DPO/PPO 训练不收敛（损失值居高不下 / 波动大）
   • 问题：学习率过高 / 过低、批次大小过大、LoRA 超参数设置不当；
   • 解决：调整学习率（DPO 推荐 5e-5~1e-4，PPO 推荐 1e-6~5e-6），减小批次大小（入门推荐 1），增加梯度累积步数（4~8），保持 LoRA 超参数为默认值。
3. 微调后模型输出未贴合偏好 / 与微调前无差异
   • 问题：偏好数据量过少、训练轮次不足、DPO beta 值过小；
   • 解决：增加 5-10 条高质量偏好数据，适当增加训练轮次（5~8），将 DPO beta 值调至 0.1~0.5（beta 值越大，偏好强化越强）。
4. 模型加载报错：pad_token 未设置 / 量化失败
   • 问题：Phi-2/LLaMA 无默认 pad_token，或未开启 4bit 量化导致显存不足；
   • 解决：设置tokenizer.pad_token = tokenizer.eos_token，开启 4bit 量化配置（bnb_config），确保模型加载时的device_map="auto"。
5. RLHF 中奖励模型打分不准确（优选输出分数低于次选）
   • 问题：奖励模型训练数据量过少、训练轮次不足；
   • 解决：增加奖励模型的训练轮次（20~30），用更多的偏好数据训练，确保奖励模型的打分结果与人类偏好一致。

七、作业验收标准

本次作业按必做任务（60 分）+ 进阶任务（40 分）进行验收，提交内容需格式清晰、代码可直接运行、效果可验证，拒绝低质量的标注数据和无注释的代码，所有实操均需围绕高中编程教学场景展开。

必做任务（60 分）

1. 提交高中编程教学场景偏好数据集（≥20 条，成对数据格式），标注符合三大原则，偏好差异清晰，无空值 / 错误标注（20 分）；
2. 提交完整 LoRA+DPO 微调代码（带详细注释），可直接运行，训练过程无报错，模型能正常收敛（20 分）；
3. 提交偏好学习效果对比报告（≥5 个测试指令），清晰对比微调前后的输出差异，明确说明微调后模型更贴合场景偏好（20 分）。

进阶任务（40 分）

1. 完成RLHF 简易实现，提交奖励模型 + PPO 微调的完整代码和训练日志，奖励模型打分准确，PPO 训练收敛（15 分）；
2. 完成模型优化，从数据 / 超参数维度优化，提交优化后的效果对比报告，优化后模型的偏好贴合度进一步提升（10 分）；
3. 提交Streamlit 部署代码 + 运行截图，应用能正常运行，实现场景化指令交互，输出贴合偏好（15 分）。

八、总结：人类偏好学习 ——LLM 贴合人类需求的核心钥匙

本次作业的核心是人类偏好学习，这一技术的本质是让 LLM 从 “以数据为中心” 的训练，转向 “以人类需求为中心” 的优化，解决了大模型落地过程中 “正确但不好用” 的核心痛点。对于高中编程教学这类特定场景而言，人类偏好学习让 LLM 真正成为贴合场景需求、适配用户认知的专属工具，而非通用的文本生成器。

从技术发展来看，人类偏好学习是 LLM 从 “实验室模型” 走向 “商用产品” 的关键环节，也是后续 AI Agent 打造的基础 —— 只有让模型贴合人类的偏好和习惯，才能让 AI Agent 在自主执行任务时，输出符合人类预期的结果。而对于学习者而言，本次作业的轻量实操（DPO），让高门槛的人类偏好学习变得触手可及，掌握这一技术，就掌握了让 LLM“为我所用、贴合我需” 的核心能力。

未来，人类偏好学习将与多模态、自主进化、价值对齐深度结合，让大模型的输出不仅贴合人类的使用偏好，更贴合人类的主流价值观，而本次场景化的实操，正是掌握这一核心技术的关键起点。