CSS跨集群同步插件使用指导
跨集群同步插件通过将远端集群的索引文件同步到本端集群的方式,实现索引同步。本端集群与远端集群的数据差异为秒级别。
前置条件:
已经创建两个CSS集群,目前支持跨集群同步的版本为7.1.1,两个集群的VPC、子网、安全组需一样。
配置步骤
进入远端集群的kibana dev tools页签,执行以下命令获取transport地址:
GET _nodes/stats/os
结果如下示例,获取节点的transport地址:
进入本端集群kibana的dev tools页签,执行以下命令配置远端集群
PUT /_cluster/settings { "persistent": { "cluster": { "remote": { "leader": { "seeds": [ "192.168.66.235:9300", "192.168.85.21:9300", "192.168.122.30:9300" ] } } } } }
执行完成后执行 GET _remote/info 确保能正常连接
在本端集群执行以下命令开始同步远端索引:
PUT start_remote_sync { "remote_cluster": "leader", "remote_index": "data1", "local_index": "data1_new" }
执行以后查看本端集群是否已经创建同步的索引data1_new
其他API:
停止同步,停止以后本端集群的索引可以进行写入
PUT /{index}/stop_remote_sync
获取自动同步状态
GET auto_sync/stats
获取正在同步的索引的同步状态
GET {index_name}/sync_stats
修改同步周期
PUT {index_name}/_settings { "index.remote_sync.sync_interval": "2s" }
按照pattern来进行同步:
PUT auto_sync/pattern/test1 { "remote_cluster": "leader", "remote_index_patterns": "log*", "local_index_pattern": "{{remote_index}}-copy" }
其中remote_index_patterns
为远端集群名字的正则表达式。
请注意:
此配置只会同步创建完pattern以后创建的新索引。
多个pattern定义的远端集群正则表达式不允许冲突,如定义pattern test1的正则表达式为
log*
,又定义了pattern test2的正则表达式为log1*
,对于这种情况,如果远端集群存在索引名字为log10的索引,会使得两个pattern都能匹配上,这种情况是不允许的。
注意事项:
禁止在同步本端修改同步索引的mapping,会导致在远端修改mapping时无法同步。
本端只能从远端同步数据,不能在本端写入,如果需要写入,先调停止同步API。
目前只支持7.1.1版本
- 点赞
- 收藏
- 关注作者
评论(0)