MySQL数据库监控实战：5分钟搞定Prometheus+Grafana联动配置（附避坑指南）

从零到一：构建企业级MySQL监控体系的实战指南

在当今数据驱动的业务环境中，数据库的稳定性和性能直接关系到核心业务的连续性。想象一下，凌晨三点，你被急促的电话铃声惊醒，线上业务突然出现大面积延迟，用户投诉如潮水般涌来。你第一时间登录服务器，却发现除了“数据库响应慢”这个模糊的线索外，没有任何可供分析的量化数据。这种场景，相信很多运维和开发同学都曾经历过，或者正在为此焦虑。

传统的数据库监控往往依赖于零散的脚本、临时的SHOW STATUS命令，或者功能有限的开源工具，这些方法不仅效率低下，更难以形成体系化的洞察。当问题发生时，我们常常陷入“盲人摸象”的困境，无法快速定位瓶颈所在。而一套成熟的监控体系，就如同为数据库安装了一双“透视眼”，能够实时洞察其内部运行状态，将潜在风险扼杀在萌芽阶段。

本文将带你深入实践，基于Prometheus和Grafana这两大云原生时代的明星工具，构建一套从数据采集、存储、分析到可视化告警的完整MySQL监控解决方案。我们不仅会讲解每一步的操作细节，更会分享在实际生产环境中踩过的“坑”和总结出的最佳实践，确保你部署的监控系统既健壮又实用。

1. 架构设计与核心组件解析

在动手部署之前，理解整个监控体系的架构和各组件的职责至关重要。这能帮助你在遇到问题时，快速判断故障点，而不是在复杂的配置文件中盲目摸索。

我们的目标架构是一个经典的分层模型，分为数据采集层、存储计算层和可视化应用层。

[MySQL Server] <---> [mysqld_exporter] (采集指标) [Linux Server] <---> [node_exporter] (采集主机指标) || \/ [Prometheus Server] (拉取、存储、计算指标) || \/ [Grafana] (数据可视化与仪表盘) || \/ [Alertmanager] (告警路由与通知)

Prometheus是整个体系的核心引擎。它并非一个简单的数据库，而是一个专为监控设计的时序数据库和一套完整的监控生态系统。其核心工作模式是“拉取”（Pull），即由Prometheus Server主动向配置好的目标（Targets）发起HTTP请求，获取监控指标。这种模式的优势在于集中控制，避免了被监控端需要维护复杂的推送逻辑。Prometheus将采集到的数据以时间序列的形式存储在本地的高效时序数据库TSDB中，并提供了强大的查询语言PromQL，允许你对这些数据进行实时聚合与分析。

提示：很多人会混淆Prometheus和传统监控工具（如Zabbix）的架构。Zabbix采用“Agent推送”或“Server主动探测”的混合模式，而Prometheus坚定的Pull模型使其在云原生、动态伸缩的环境中更具优势，配合服务发现可以轻松应对容器实例的频繁创建与销毁。

Exporter是连接被监控对象与Prometheus的桥梁。它是一个独立的进程，负责将监控对象的内在状态“翻译”成Prometheus能够理解的指标格式（通常是简单的文本）。对于MySQL，我们使用mysqld_exporter；对于Linux主机，则使用node_exporter。它们会在本地启动一个HTTP服务，暴露一个/metrics端点，Prometheus定期从这个端点抓取数据。

Grafana是数据的“化妆师”和“播音员”。它专注于将枯燥的时间序列数据转化为直观、美观的图表和仪表盘。Grafana本身不存储数据，而是作为一个强大的可视化前端，支持从Prometheus、MySQL、Elasticsearch等多种数据源查询数据。其丰富的插件生态和社区贡献的数千个仪表盘模板，能让你快速搭建出专业级的监控视图。

为了让你更清晰地理解各组件的关系与关键配置，可以参考下表：

2. 步步为营：部署与配置全流程

理论清晰后，我们进入实战环节。我将以一台全新的CentOS 7服务器为例，演示如何从零部署这套监控系统。为了模拟生产环境，我们假设：

• 监控目标MySQL服务器IP:192.168.1.100
• Prometheus & Grafana 服务器IP:192.168.1.200

2.1 在目标MySQL服务器部署Exporter

首先，我们需要在MySQL服务器上部署数据采集器。

第一步：创建监控专用数据库账户

安全第一条。永远不要使用root或业务账号进行监控采集。我们需要创建一个权限最小化的专属账户。

-- 登录MySQL mysql -u root -p -- 创建exporter用户，请务必使用强密码替换'YourStrongPassword123!' CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'YourStrongPassword123!' WITH MAX_USER_CONNECTIONS 3; -- 授予必要的权限。这些权限足以让exporter收集绝大多数性能指标，又不会危及安全。 GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost'; -- 对于MySQL 8.0+，如果需要收集表统计信息，可能还需要额外授权 GRANT SELECT ON performance_schema.* TO 'exporter'@'localhost'; FLUSH PRIVILEGES;

注意：WITH MAX_USER_CONNECTIONS 3用于限制该监控账户的最大连接数，避免在exporter异常时耗尽数据库连接资源，这是一个重要的生产环境安全实践。

第二步：下载并安装mysqld_exporter

访问Prometheus官方导出器页面或GitHub Releases，下载最新稳定版本的mysqld_exporter。

# 切换到临时目录 cd /tmp # 下载最新版本的mysqld_exporter (请替换为实际最新版本号) wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.0/mysqld_exporter-0.15.0.linux-amd64.tar.gz # 解压并移动到系统目录 tar xvfz mysqld_exporter-*.linux-amd64.tar.gz sudo mv mysqld_exporter-*.linux-amd64 /usr/local/mysqld_exporter # 创建配置文件，存储数据库连接信息 sudo vi /usr/local/mysqld_exporter/.my.cnf

在.my.cnf文件中填入以下内容：

[client] user=exporter password=YourStrongPassword123! host=localhost port=3306

然后，设置严格的文件权限，防止密码泄露：

sudo chown root:root /usr/local/mysqld_exporter/.my.cnf sudo chmod 600 /usr/local/mysqld_exporter/.my.cnf

第三步：配置系统服务管理

使用systemd来管理exporter进程，确保其能开机自启和异常重启。

sudo vi /etc/systemd/system/mysqld_exporter.service

服务文件内容如下：

[Unit] Description=Prometheus MySQL Exporter After=network.target Wants=network.target [Service] Type=simple User=mysqld_exporter Group=mysqld_exporter Restart=always RestartSec=5 ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \ --config.my-cnf=/usr/local/mysqld_exporter/.my.cnf \ --web.listen-address=0.0.0.0:9104 \ --collect.global_status \ --collect.info_schema.innodb_metrics \ --collect.auto_increment.columns \ --collect.info_schema.processlist \ --collect.binlog_size \ --collect.info_schema.tablestats \ --collect.info_schema.query_response_time \ --collect.info_schema.userstats \ --collect.perf_schema.tablelocks \ --collect.perf_schema.file_events \ --collect.perf_schema.eventswaits \ --collect.perf_schema.indexiowaits \ --collect.engine_innodb_status [Install] WantedBy=multi-user.target

这里通过--collect.*参数启用了丰富的采集器，你可以根据实际监控需求增减。--web.listen-address指定了监听地址和端口。

创建专用系统用户并启动服务：

sudo useradd -rs /bin/false mysqld_exporter sudo chown -R mysqld_exporter:mysqld_exporter /usr/local/mysqld_exporter sudo systemctl daemon-reload sudo systemctl enable mysqld_exporter sudo systemctl start mysqld_exporter sudo systemctl status mysqld_exporter # 检查状态，应为active (running)

现在，访问http://192.168.1.100:9104/metrics，你应该能看到大量以mysql_为前缀的监控指标文本，这表示mysqld_exporter已正常工作。

第四步（可选）：部署node_exporter监控主机

同样地，我们部署node_exporter来收集服务器本身的资源使用情况。

cd /tmp wget https://github.com/prometheus/node_exporter/releases/download/v1.6.0/node_exporter-1.6.0.linux-amd64.tar.gz tar xvfz node_exporter-*.tar.gz sudo mv node_exporter-*.linux-amd64 /usr/local/node_exporter # 创建systemd服务 sudo vi /etc/systemd/system/node_exporter.service

服务文件内容：

[Unit] Description=Prometheus Node Exporter After=network.target [Service] Type=simple User=node_exporter Group=node_exporter ExecStart=/usr/local/node_exporter/node_exporter Restart=always RestartSec=5 [Install] WantedBy=multi-user.target

sudo useradd -rs /bin/false node_exporter sudo chown -R node_exporter:node_exporter /usr/local/node_exporter sudo systemctl daemon-reload sudo systemctl enable node_exporter sudo systemctl start node_exporter

访问http://192.168.1.100:9100/metrics验证。

2.2 在监控服务器部署Prometheus

现在，切换到192.168.1.200，部署Prometheus Server。

第一步：安装Prometheus

cd /tmp wget https://github.com/prometheus/prometheus/releases/download/v2.47.0/prometheus-2.47.0.linux-amd64.tar.gz tar xvfz prometheus-*.tar.gz sudo mv prometheus-*.linux-amd64 /usr/local/prometheus

第二步：配置Prometheus抓取任务

这是核心配置，告诉Prometheus去哪里拉取数据。

sudo vi /usr/local/prometheus/prometheus.yml

在scrape_configs:部分，添加我们刚刚部署的exporter任务：

# 全局配置 global: scrape_interval: 15s # 抓取间隔 evaluation_interval: 15s # 规则评估间隔 # 告警管理器配置（暂不配置） alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # 规则文件（暂不配置） rule_files: # - "first_rules.yml" # - "second_rules.yml" # 抓取配置 scrape_configs: # 监控Prometheus自身 - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] # 监控MySQL服务器 - job_name: 'mysql' static_configs: - targets: ['192.168.1.100:9104'] # mysqld_exporter地址 labels: instance: 'mysql-production-01' # 给实例一个易读的标签 # 监控Linux主机 - job_name: 'node' static_configs: - targets: ['192.168.1.100:9100'] # node_exporter地址 labels: instance: 'web-db-server-01'

labels部分添加的标签非常重要，它们会附加到该任务采集的所有指标上，在Grafana中进行筛选、分组时极其有用。

第三步：创建系统服务并启动

sudo vi /etc/systemd/system/prometheus.service

[Unit] Description=Prometheus Server After=network.target [Service] Type=simple User=prometheus Group=prometheus ExecStart=/usr/local/prometheus/prometheus \ --config.file=/usr/local/prometheus/prometheus.yml \ --storage.tsdb.path=/usr/local/prometheus/data \ --web.console.templates=/usr/local/prometheus/consoles \ --web.console.libraries=/usr/local/prometheus/console_libraries \ --web.listen-address=0.0.0.0:9090 \ --storage.tsdb.retention.time=30d # 数据保留30天 Restart=always RestartSec=5 [Install] WantedBy=multi-user.target

sudo useradd -rs /bin/false prometheus sudo chown -R prometheus:prometheus /usr/local/prometheus sudo systemctl daemon-reload sudo systemctl enable prometheus sudo systemctl start prometheus

现在，打开浏览器访问http://192.168.1.200:9090，进入Prometheus UI。在“Status” -> “Targets”页面，你应该能看到三个目标（Prometheus自身、mysql、node），状态均为“UP”。点击某个Endpoint可以预览采集到的指标。

2.3 部署与配置Grafana

第一步：安装Grafana

对于CentOS/RHEL系统，官方推荐使用YUM仓库安装。

sudo vi /etc/yum.repos.d/grafana.repo

添加以下内容：

[grafana] name=grafana baseurl=https://packages.grafana.com/oss/rpm repo_gpgcheck=1 enabled=1 gpgcheck=1 gpgkey=https://packages.grafana.com/gpg.key sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt

然后安装并启动：

sudo yum install -y grafana sudo systemctl enable grafana-server sudo systemctl start grafana-server

Grafana默认监听3000端口。首次访问http://192.168.1.200:3000，使用默认账号admin/admin登录，系统会要求立即修改密码。

第二步：添加Prometheus数据源

1. 登录后，点击左侧齿轮图标“Configuration”，选择“Data Sources”。
2. 点击“Add data source”，选择“Prometheus”。
3. 在URL字段填写http://localhost:9090（因为Grafana和Prometheus在同一台服务器）。
4. 其他选项保持默认，滚动到底部，点击“Save & Test”。如果看到绿色提示框“Data source is working”，恭喜你，配置成功。

第三步：导入社区仪表盘模板

从头创建仪表盘费时费力，Grafana社区提供了大量优秀的模板。对于MySQL监控，Percona维护的模板和Grafana Labs官方的模板都非常流行。

这里我们导入一个功能全面的MySQL模板：

1. 点击左侧“+”号，选择“Import”。
2. 在“Import via grafana.com”框中输入模板ID11323（这是一个非常流行的MySQL监控模板），点击“Load”。
3. 在下一个页面，为仪表盘命名（如“MySQL Overview”），并选择我们刚刚创建的Prometheus数据源。
4. 点击“Import”。

瞬间，一个包含连接数、查询性能、缓冲池状态、网络流量、InnoDB指标等数十个图表的专业仪表盘就呈现在你面前。你可以通过左上角的下拉框选择不同的监控实例（对应我们在Prometheus中配置的instance标签）。

3. 核心监控指标深度解读与告警配置

仪表盘有了，但面对琳琅满目的图表，哪些是关键指标？阈值如何设定？我们来深入剖析几个核心领域。

3.1 连接与线程池

• mysql_global_status_threads_connected：当前打开的连接数。这是最直接的负载指标。
• mysql_global_status_threads_running：当前正在执行的连接数。如果这个数持续接近或等于max_connections，说明数据库正在满负荷运转，新连接将无法建立。
• mysql_global_variables_max_connections：服务器允许的最大连接数。

告警建议：

• 警告：threads_connected > max_connections * 0.8（连接数使用超过80%）
• 严重：threads_connected > max_connections * 0.95（连接即将耗尽）

在Grafana中，你可以直接在图表上配置告警。编辑“MySQL Connections”图表，切换到“Alert”标签页创建告警规则。

3.2 查询性能

• QPS (Queries Per Second)：通过计算mysql_global_status_questions的增长率获得。rate(mysql_global_status_questions[5m])
• TPS (Transactions Per Second)：通过mysql_global_status_innodb_rows_read等指标的增长率可以间接反映。
• 慢查询：mysql_global_status_slow_queries。需要确保MySQL的slow_query_log已开启。

告警建议：

• 慢查询激增：increase(mysql_global_status_slow_queries[10m]) > 10（10分钟内慢查询增加超过10个）

3.3 InnoDB缓冲池

缓冲池是InnoDB引擎的心脏，其效率直接影响性能。

• 命中率：这是最重要的指标。计算公式为：

  (1 - (mysql_global_status_innodb_buffer_pool_reads / mysql_global_status_innodb_buffer_pool_read_requests)) * 100

  在PromQL中可以这样写：

  100 * (1 - rate(mysql_global_status_innodb_buffer_pool_reads[5m]) / rate(mysql_global_status_innodb_buffer_pool_read_requests[5m]))

• 使用率：mysql_global_status_innodb_buffer_pool_pages_total和mysql_global_status_innodb_buffer_pool_pages_free。

告警建议：

• 缓冲池命中率低于99%可能需要关注，低于95%通常意味着需要优化查询或考虑增加innodb_buffer_pool_size。

3.4 配置Grafana邮件告警通道

要让告警真正发挥作用，必须配置通知渠道。

1. 编辑Grafana配置文件：sudo vi /etc/grafana/grafana.ini

2. 找到[smtp]部分，修改如下（以QQ邮箱为例）：

   [smtp] enabled = true host = smtp.qq.com:465 user = your-email@qq.com password = your-authorization-code # 注意：是SMTP授权码，不是登录密码 skip_verify = true from_address = your-email@qq.com from_name = Grafana Alert

3. 重启Grafana：sudo systemctl restart grafana-server

4. 在Grafana Web界面，进入“Alerting” -> “Notification channels”，点击“Add channel”。

5. 选择类型为“Email”，填写名称和收件人邮箱，点击“Test”发送测试邮件，成功后保存。

现在，你在任何图表上创建的告警规则，都可以选择通过这个邮件通道发送通知了。

4. 生产环境进阶：高可用与优化策略

单机部署适合测试和小型环境，生产环境则需要考虑更多。

Prometheus高可用：可以部署两台或多台完全相同的Prometheus Server，同时抓取所有目标。它们之间数据独立，通过上层的负载均衡或VIP对外提供查询服务。更复杂的方案是使用Thanos或Cortex这类长期存储和全局查询层。

监控目标动态发现：当服务器数量成百上千时，静态配置prometheus.yml是不可维护的。Prometheus支持多种服务发现机制：

• 基于文件的服务发现：将目标信息写入JSON或YAML文件，Prometheus定期读取。
• 基于Consul、Etcd、Kubernetes的服务发现：在云原生环境中自动发现Pod或Service。
• 基于DNS的发现：通过SRV记录发现目标。

例如，使用文件服务发现，可以这样配置：

scrape_configs: - job_name: 'mysql-file-sd' file_sd_configs: - files: - /etc/prometheus/sd_configs/mysql_targets.json refresh_interval: 5m

然后在/etc/prometheus/sd_configs/mysql_targets.json中动态更新目标列表。

Grafana权限与多租户：生产环境中，可能需要为不同团队（如DBA、开发、运维）创建不同的用户和权限，甚至隔离数据源和仪表盘。Grafana支持通过“Organizations”（组织）来实现多租户，每个组织有独立的数据源、用户和仪表盘。

性能与存储优化：

• Prometheus数据保留：根据磁盘容量和监控粒度调整--storage.tsdb.retention.time。更久的历史数据可以迁移到对象存储（如S3）。
• Prometheus抓取性能：调整scrape_interval（如30s），对于指标量非常大的exporter，可以适当增加scrape_timeout。
• Grafana渲染性能：避免在一个仪表盘上放置过多查询复杂的图表，合理使用“Query caching”选项。

5. 避坑指南与故障排查

即使按照指南操作，你也可能会遇到一些问题。这里总结几个常见“坑点”：

1. Exporter启动失败，报错“Access denied for user”

• 原因：MySQL账户权限不足或密码错误。
• 排查：
  1. 使用mysql -u exporter -p手动登录，验证账户。
  2. 检查.my.cnf文件权限是否为600，确保其他用户无法读取。
  3. 在MySQL中执行SHOW GRANTS FOR 'exporter'@'localhost';确认权限。

2. Prometheus Targets状态为“DOWN”

• 原因：网络不通、端口未开放、exporter进程挂掉。
• 排查：
  1. 在Prometheus服务器上执行telnet <target_ip> <target_port>测试连通性。
  2. 登录目标服务器，检查exporter进程状态：systemctl status mysqld_exporter。
  3. 检查防火墙规则：sudo firewall-cmd --list-all，确保放行了9104/9100等端口。

3. Grafana图表显示“No data”

• 原因：数据源配置错误、PromQL写错、时间范围选择不当。
• 排查：
  1. 在Grafana中，点击图表标题 -> “Edit” -> 切换到“Query”标签，检查数据源是否正确，PromQL语句能否在Prometheus UI中直接查询到数据。
  2. 检查仪表盘右上角的时间范围选择器，是否选择了未来时间或没有数据的时间段。

4. 监控数据延迟或断点

• 原因：Prometheus Server负载过高、网络抖动、exporter GC停顿。
• 排查：
  1. 查看Prometheus自身指标，如prometheus_target_scrape_pool_targets（目标数量）、prometheus_engine_query_duration_seconds（查询延迟）。
  2. 检查服务器资源（CPU、内存、磁盘IO），Prometheus的TSDB写入对磁盘IO要求较高。

最后，记住监控系统的黄金法则：监控系统本身也需要被监控。确保你为Prometheus和Grafana也配置了基础的主机监控和进程存活性告警，否则当监控平台宕机时，你将真正陷入“黑暗”。