logstash同步MySQL数据到ElasticSearch

Jdbc input plugin 配置选项

配置文档

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

配置示例

input {
  jdbc { # jdbc驱动包位置 jdbc_driver_library => "mysql-connector-java-8.0.16.jar" # 驱动类 jdbc_driver_class => "com.mysql.cj.jdbc.Driver" # 数据库连接信息, 8.0以上版本：一定要把serverTimezone=UTC天加上 jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/data?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true" # 用户 jdbc_user => "root" # 密码 jdbc_password => "123456" # 定时任务，默认一分钟 schedule => "* * * * *" # 是否清空上次sql_last_value记录 clean_run => false # 执行的语句 statement => "SELECT * FROM user WHERE update_time >= :sql_last_value" # 分页 jdbc_paging_enabled => "true" jdbc_page_size => "5000" # 使用递增列的值 use_column_value => true # 递增字段的类型 tracking_column_type => "timestamp" # 递增字段的名称 tracking_column => "update_time" # 同步点文件 last_run_metadata_path => "syncpoint_table"
  }
}
output { elasticsearch { # ES的IP地址及端口 hosts => ["http://127.0.0.1:9200"] # 索引名称 可自定义 index => "user" # 需要关联的数据库中有有一个id字段，对应类型中的id document_id => "%{id}" } # stdout { # JSON格式输出 # codec => json_lines # }
}

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
 

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/108531626