CSS跨集群同步插件使用指导

举报
超级马里奥 发表于 2020/08/03 20:01:35 2020/08/03
【摘要】 跨集群同步插件通过将远端集群的索引文件同步到本端集群的方式,实现索引同步。本端集群与远端集群的数据差异为秒级别。前置条件:已经创建两个CSS集群,目前支持跨集群同步的版本为7.1.1,两个集群的VPC、子网、安全组需一样。配置步骤进入远端集群的kibana dev tools页签,执行以下命令获取transport地址:GET _nodes/stats/os结果如下示例,获取节点的trans...

跨集群同步插件通过将远端集群的索引文件同步到本端集群的方式,实现索引同步。本端集群与远端集群的数据差异为秒级别。

前置条件:

  1. 已经创建两个CSS集群,目前支持跨集群同步的版本为7.1.1,两个集群的VPC、子网、安全组需一样。


配置步骤

  • 进入远端集群的kibana dev tools页签,执行以下命令获取transport地址:

    GET _nodes/stats/os

    结果如下示例,获取节点的transport地址:


  • 进入本端集群kibana的dev tools页签,执行以下命令配置远端集群

PUT /_cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "leader": {
          "seeds": [
            "192.168.66.235:9300",
            "192.168.85.21:9300",
            "192.168.122.30:9300"
          ]
        }
      }
    }
  }
}
  • 执行完成后执行 GET _remote/info 确保能正常连接


  • 在本端集群执行以下命令开始同步远端索引:

PUT start_remote_sync
{
  "remote_cluster": "leader",
  "remote_index": "data1",
  "local_index": "data1_new"
}


执行以后查看本端集群是否已经创建同步的索引data1_new


其他API:

停止同步,停止以后本端集群的索引可以进行写入

PUT /{index}/stop_remote_sync

获取自动同步状态

GET auto_sync/stats

获取正在同步的索引的同步状态

GET {index_name}/sync_stats

修改同步周期

PUT {index_name}/_settings
{
  "index.remote_sync.sync_interval": "2s"
}


按照pattern来进行同步:

PUT auto_sync/pattern/test1
{
  "remote_cluster": "leader",
  "remote_index_patterns": "log*",
  "local_index_pattern": "{{remote_index}}-copy"
}

其中remote_index_patterns为远端集群名字的正则表达式。

请注意:

  1. 此配置只会同步创建完pattern以后创建的新索引。

  2. 多个pattern定义的远端集群正则表达式不允许冲突,如定义pattern test1的正则表达式为log*,又定义了pattern test2的正则表达式为log1*,对于这种情况,如果远端集群存在索引名字为log10的索引,会使得两个pattern都能匹配上,这种情况是不允许的。


注意事项:

  1. 禁止在同步本端修改同步索引的mapping,会导致在远端修改mapping时无法同步。

  2. 本端只能从远端同步数据,不能在本端写入,如果需要写入,先调停止同步API。

  3. 目前只支持7.1.1版本


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。