[技术干货] CSS使用集群快照跨region复制指导

【背景介绍】

云搜索服务(Cloud Search Service,简称CSS)实例可以提供可用区(AZ)级高可用服务。在业务稳定性要求较高的场景中可以提供跨局点(region)级的实例复制和恢复能力。

CSS跨region恢复场景一般在业务需要进行大量数据分析,并对数据要求有容灾的场景,针对region级的故障进行快速恢复。CSS跨region灾备场景对业务和数据能提供较高的可靠性,对提升业务的RPO和RTO均有改善。

本文着重介绍如何使用CSS集群快照的方式对索引实例进行跨region实现恢复的方案和实现方法。

【指导方案】

1.png

1.1   CSS跨region迁移流程

1) RegionA源集群中需要复制的索引实例设置集群快照,源数据通过快照保存至regionA的OBS中。

2) RegionA对象存储OBS中配置OBS对象跨region复制,将数据同步到目标regionB的OBS的桶中。

3) RegionB云搜索实例配置OBS中源数据对应的访问路径,在CSS实例的集群快照中恢复regionA源数据的索引实例。

1.2   迁移环境部署

1)     CSS源数据集群的节点规格、节点数量、CSS版本需要低于或相同于目的数据集群。最低需要保证源集群和目的集群节点规格、节点数量、CSS版本一致。

本次数据迁移源CSS数据集群配置如下:

Region:上海二

节点数量:1个,节点规格2U8G,存储40G

CSS版本:7.9.3

2.png


目的CSS集群配置如下:

Region:北京四

节点数量:1个,节点规格4U16G,存储40G

CSS版本:7.9.3

3.png



2)     OBS需要使用版本号为3.0的OBS实例。

源数据OBS实例为dli-demo9,版本号3.0.

4.png


目的数据OBS实例为cre-obs,版本号3.0.

5.png



3)     索引实例准备

源数据需要迁移的索引实例状态为green。

上海二region迁移的索引实例为my_store,状态显示green。状态为yellow或red无法进行迁移,请先处理完后进行迁移。

6.png


使用kibana的dev tools可以查看索引实例的状态:

7.png



源实例中的数据如下:

8.png


目的数据集群(北京四的集群)在迁移前只有系统默认的索引。无需要迁移的my_store实例存在。

 9.png

1.3   CSS集群索引实例迁移步骤

1) RegionA源数据CSS集群设置快照并生成快照文件。集群快照在基础配置内设置OBS桶为 dli-demo9,备份路径为自定义目录可修改为特定日期或者文件名称,IAM委托选择css_obs_agency。

若无OBS桶可根据提示在regionA创建一个OBS实例。具体参考:

https://support.huaweicloud.com/ugobs-obs/obs_41_0009.html

10.png


2) 在regionA的OBS桶中确认是否有快照文件,查找路径为CSS实例中集群快照设置的路径。文件修改时间为创建快照的时间。

11.png


3) 在regionA的OBS实例中设置跨区域复制,配置目的端regionB中OBS的相关信息。

OBS实例管理界面中选择跨区域复制,创建规则。

12.png


规则创建需要设置复制文件的前缀,无前缀默认全部复制。本次需要复制CSS相关文档。目标桶为regionB的OBS实例名称,本次选择北京四的cre-obs实例。IAM委托权限需要选择授权可进行跨region复制的权限。

13.png

14.png


4) 文件复制完成,文件复制视复制数据的大小决定。在regionB的桶对象中查找文件。本次在北京四的OBS实例cre-obs中找到已经传输完成的文件,时间为regionA(上海二)CSS进行集群快照创建的时间。

15.png



文件确认存在后复制快照所在文件的目录,点击复制路径选择文件目录备用。

16.png


5) 在regionB的CSS集群实例中设置集群快照的基本配置,在OBS实例选择准备好的实例,本地为北京四cre-obs。文件路径为复制路径的地址,粘贴到文件路径框。IAM委托选择 css_obs_agency。

17.png


进群快照界面选择刷新按钮,出现快照文件,检查是否为regionA中定义的文件名称。

18.png


6) 点击恢复按钮,按照提示输入索引名称选择本次需要恢复的实例my_store,恢复实例选择regionB内的实例。

19.png


7) 查看恢复进度和状态,恢复成功会显示相应成功提示。恢复失败会提示失败信息,根据失败信息处理完成后会提示成功。

20.png


8) 在CSS集群自带的kibana管理界面查看索引实例是否已经恢复成功。本次恢复的实例my_store已在北京四region可查询到,文件大小一致。CSS集群跨region迁移完成。

21.png


9)Kibana的dev tools工具中可以查看到在北京四的集群中已恢复的索引my_store状态为green。

22.png

北京四集群查询索引my_store中的数据:

23.png


上文中上海二集群中的索引my_store的源数据和北京四对比为同一数据:

24.png