fio硬盘性能测试指南：从原理到实战优化

1. 为什么需要专业的硬盘性能测试

刚入行那会儿，我对硬盘性能测试的理解还停留在简单的文件拷贝计时阶段。直到有次线上服务出现严重IO瓶颈，才发现这种粗放的测试方式根本反映不出真实场景下的性能问题。fio（Flexible I/O Tester）作为业界标准的存储性能测试工具，能够模拟各种真实负载场景，帮助我们发现存储系统的性能瓶颈。

记得第一次用fio测试生产环境中的NVMe SSD时，发现4K随机写入性能只有厂商标称值的60%。通过调整队列深度和线程数，最终找到了最优配置方案。这种精准的量化测试，是普通dd命令完全无法实现的。

2. fio核心参数详解

2.1 测试模式选择

fio支持多种测试模式，最常用的有三种：

• 顺序读写（read/write）：模拟大文件连续访问
• 随机读写（randread/randwrite）：模拟数据库类负载
• 混合读写（rw/rw）：模拟实际业务场景

在我的性能调优案例中，曾遇到一个MySQL数据库性能问题。通过fio的随机读写测试，发现当队列深度达到32时，IOPS不再增长，这就是该SSD的最佳并发点。

2.2 关键性能参数

[global] ioengine=libaio # 使用异步IO引擎 direct=1 # 绕过系统缓存 size=10G # 每个线程测试文件大小 runtime=60 # 测试持续时间(秒) [4k_randwrite] bs=4k # 块大小 rw=randwrite # 测试模式 iodepth=16 # 队列深度 numjobs=4 # 并发线程数

这个配置文件测试的是4K随机写入性能。其中iodepth和numjobs的乘积决定了并发IO请求数，需要根据设备特性调整。企业级SSD通常可以支持更高的并发。

3. 实战测试案例分析

3.1 企业级NVMe SSD测试

最近测试某型号NVMe SSD时，使用以下配置获得了最佳性能：

filename=/dev/nvme0n1 # 直接测试裸设备 rw=randrw # 混合读写 rwmixread=70 # 读占比70% time_based=1 # 按时间运行 ramp_time=30 # 预热时间

测试结果显示，在队列深度32时，随机读写IOPS达到标称值。但继续增加队列深度时，延迟明显上升而吞吐量增长有限，这就是典型的质量拐点。

3.2 云盘性能评估

在评估某云服务商的ESSD云盘时，发现其性能表现与本地SSD有明显差异：

• 突发性能高但持续写入会触发限流
• 不同实例规格的性能上限不同
• 网络延迟对随机访问影响显著

通过fio的阶梯式负载测试，我们找到了该云盘的最佳性价比配置点。

4. 高级测试技巧

4.1 真实业务场景模拟

为了模拟数据库负载，我常用这样的配置：

[oltp] bsrange=4k-16k # 混合块大小 rw=randrw rwmixread=65 iodepth=8 numjobs=8

通过添加random_distribution=zipf:1.2参数，可以模拟更真实的热点访问模式。

4.2 长时间稳定性测试

[stability] runtime=86400 # 24小时测试 time_based=1 stonewall # 等所有job完成

这种测试能发现存储设备在长时间工作后的性能衰减问题。曾经通过这种测试发现某批SSD存在写入放大问题。

5. 结果分析与性能优化

5.1 关键指标解读

• IOPS：每秒IO操作数，随机访问关键指标
• 带宽：顺序读写吞吐量
• 延迟：单个IO响应时间
• 百分位延迟：如p99延迟对业务影响更大

在分析结果时，我通常会关注p99延迟是否满足业务SLA要求，而不仅仅是平均性能。

5.2 常见性能瓶颈

根据经验，存储性能瓶颈通常出现在：

1. 队列深度不足时：IOPS未达设备上限
2. CPU成为瓶颈：fio进程CPU使用率100%
3. 设备限流：云盘常见问题
4. 文件系统开销：ext4 vs xfs差异

6. 生产环境注意事项

重要提示：生产环境测试务必谨慎

1. 避免直接测试正在使用的文件系统
2. 测试前做好数据备份
3. 使用--eta-newline=1参数实时查看进度
4. 长时间测试建议配合nohup或tmux

曾经有同事在业务高峰期误操作fio测试，导致线上服务IO拥塞。现在我都会在测试命令前加上echo dryrun && exit 1检查。

7. 自动化测试方案

对于需要定期跑分的环境，我开发了这样的自动化脚本：

#!/bin/bash LOG="fio_$(date +%Y%m%d).log" CONFIG="test.fio" fio --output=$LOG $CONFIG awk '/iops=/ {print $0}' $LOG | mail -s "FIO Test Result" admin@example.com

配合Jenkins可以实现定时性能监控，当性能下降超过阈值时自动告警。

8. 可视化分析工具

虽然fio自带的文本结果已经很详细，但我更推荐使用：

1. fio-plot：生成直观的性能图表
2. gnuplot：自定义分析脚本
3. Excel：处理csv格式结果

通过可视化分析，可以更直观地发现性能拐点和异常点。比如下面这个延迟分布图就清晰显示了设备限流的发生时机：

Latency (us) ^ | ______ | / \ |_____/ \______> Time

9. 不同场景的测试建议

9.1 数据库存储

• 重点测试4k-16k随机读写
• 关注低队列深度下的延迟
• 测试70/30的读写混合比例
• 验证fsync性能

9.2 视频存储

• 大块顺序读写测试(1M+)
• 多线程并发读取
• 长时间持续写入稳定性

9.3 虚拟化平台

• 多VM并发访问模式
• 高队列深度测试
• 模拟trim/discard操作

10. 进阶资源推荐

想要深入掌握fio，我推荐这些资源：

1. 《Storage Performance Development Kit》官方文档
2. fio源码中的HOWTO文档
3. 存储厂商的性能白皮书
4. Linux内核文档中的block IO部分

在实际工作中，我习惯将常用测试配置做成模板库，针对不同设备类型快速调取。比如针对SATA SSD、NVMe SSD、HDD和云存储都有对应的基准测试模板。