如何用质量分数筛选微调数据？fable-5-premium的quality_scores分层采样完整指南

• 数据集
• 微调
• 人工智能

fable-5-premium是一个从 Claude Fable-5 Agent 对话轨迹中严格清洗而成的高质量监督微调（SFT）数据集，共12,730 条记录，分为 train / validation / test 三个切片。每条样本都带有quality_scores（质量分数）字段，让你可以直接按分数筛选微调数据、做分层采样。下面手把手带你用质量分数选出最优质的训练样本。

📦 数据集速览：12,730 条已分好的 SFT 数据

数据集提供两种开箱即用的格式，train / validation / test 三个切片齐全：

🧹 质量分数从哪来：六步清洗流水线

fable-5-premium 在入库前经过了一条完整的六步质量流水线（见 README.md），quality_scores 是其中最后一步"多维质量评分"的产物：

1. Deduplication（去重）— SHA-256 内容哈希，跨数据源去重
2. Structural Validation（结构校验）— 消息 schema、tool call ID、角色顺序全部合法
3. Content Filtering（内容过滤）— 剔除空响应、截断响应、纯报错会话
4. PII Scrubbing（隐私清洗）— 移除本地路径、API 密钥等敏感信息
5. Tool Call Validation（工具调用校验）— 确保每个工具调用都有对应的工具响应
6. Quality Scoring（质量评分）— 多维质量指标打分，写入quality_scores字段

💡 换句话说，quality_scores不是随意标注的分数，而是经过结构、内容、隐私、工具调用四重把关后，再用多维指标量化出来的"含金量指数"。

📈 质量分数分布速览：88% 样本在 0.8 分以上

先看全库的分数分布图（原始文件见 quality_distribution.png）：

对照 README.md 中的统计表格：

两个直观结论：

• 高分区是绝对主力：0.8 分以上的样本合计 10,476 条，占比约八成，整体"高质量偏向"非常明显
• 低分区极少：0.7 分以下的样本不足 500 条，可以放心大胆地按分数阈值做过滤

🧩 quality_scores 字段在哪、长什么样

两种格式都带quality_scores字段（dtype 为 string，承载多维质量指标），字段定义见 dataset_infos.json：

• openai_chat格式：dataset_infos.json，与messages、source、model、reasoning并列
• agent_traces格式：dataset_infos.json，与session_id、messages等并列

另外两条配套字段值得了解：

• reasoning— 独立的思维链字段，适配支持显式思考 token 的模型
• messages— 标准多轮对话，assistant 消息可携带tool_calls（含 id、function.name、function.arguments）

🎯 分层采样实战：一行 filter 筛出高分样本

用 Hugging Facedatasets库加载后，解析quality_scores字段并按分数区间过滤即可。下面是一个可直接运行的最小示例：

import json from datasets import load_dataset # 加载 openai_chat 格式的训练集 ds = load_dataset("saidutta69/fable-5-premium", "openai_chat", split="train") def quality(row) -> float: """解析 quality_scores（字符串字段）为数值分数""" raw = row["quality_scores"] try: obj = json.loads(raw) return float(obj["overall"]) if isinstance(obj, dict) else float(obj) except (ValueError, KeyError): return float(raw) # 策略一：阈值过滤 —— 只保留 0.8 分以上的高分样本 ds_hi = ds.filter(lambda r: quality(r) >= 0.8) # 策略二：分层采样 —— 按区间各自取样，兼顾质量与多样性 hi_mid = ds.filter(lambda r: 0.8 <= quality(r) < 0.9) hi_top = ds.filter(lambda r: quality(r) >= 0.9) print(len(ds_hi), len(hi_mid), len(hi_top))

⚠️ 提示：quality_scores的具体维度结构以实际数据为准，如果字段内是多维 JSON，可先打印一条样本ds[0]["quality_scores"]查看键名，再把quality()函数里的取值键换成对应维度。

💡 四种常见筛选策略怎么选

想快速跑通整条微调链路，可以直接参考官方演示脚本 scripts/finetune_demo.py：它默认加载openai_chat格式、只取 500 条样本做 4-bit LoRA 微调，并自动对比微调前后的工具调用准确率——在 MacBook 上约 10 分钟即可看到效果。

📚 相关资料速查

掌握quality_scores分层采样之后，你就拥有了把这份"精选级"SFT 数据集价值榨干的钥匙：想要更稳，就全量上车；想要更狠，就只留 0.9 分以上的"尖子生"。🚀

• 数据集
• 微调
• 人工智能