日志数据处理:Logstash 与 Elasticsearch 集成实战
1. Logstash 基础配置与运行
在运行 Logstash 时,使用-r标志可以在配置文件发生更改并保存后自动重新加载配置。这在测试新配置时非常有用,无需每次修改配置后手动启动 Logstash。
2. 输入插件
2.1 JDBC 插件
JDBC 插件用于将数据库中的数据导入到 Logstash。结果集中的每一行将成为一个事件,每一列将转换为事件中的字段。
-配置参数:
-jdbc_driver_library:指定 JDBC 驱动的路径。
-jdbc_driver_class:指定驱动类的名称。
-jdbc_connection_string:指定数据库的 JDBC 连接字符串。
-jdbc_user和jdbc_password:指定连接数据库的用户凭证。
-schedule:使用 cron 语法定期运行查询。
-parameters:指定 SQL 语句的参数。
-statement或statement_filepath:指定 SQL 查询语句。
-jdbc_fetch_size