【案例分享】如何使用数据迁移服务从OBS加载数据到云搜索服务

本文介绍如何通过云数据迁移服务向导式界面，轻松地将存储在华为云对象存储服务（OBS）上的文本文件数据加载到云搜索服务上。

云搜索服务是一个基于Elasticsearch且完全托管的在线分布式搜索服务，为用户提供结构化、非结构化文本的多条件检索、统计、报表。云数据迁移服务提供界面向导式数据迁移服务，帮助客户将数据从云下迁移到云上，从阿里云、腾讯云等第三方迁移到华为、以及华为云服务间数据迁移。支持以下数据源类型：

• 支持FTP、SFTP、OBS、HDFS、NAS(CIFS/SMB)文件类数据源

• 支持MySQL、Oracle、Db2、SQLServer、PostgreSQL数据库，自建或第三方云服务

• 支持MRS(Hive/HDFS/HBase)、DWS、RDS、CloudTable、DIS、Elasticsearch云服务

• 支持NoSQL数据库：Redis、MongoDB以及DCS、DDS云服务

从OBS加载数据到云搜索服务，需要执行以下步骤（请点击下面动画，在独立窗口显示效果更佳）。

1. 准备数据：手工将测试数据数据‍上传到OBS

   本教程数据为自行车旅行记录，数据结构如下

   

    

   在附件中有原始数据文件city_trip.zip，请参考下面界面，在对象存储服务下，直接用浏览器上传原始文件到桶testdata下。

    

    

    

    

2. 在云搜索服务，使用kibana创建搜索，创建搜索的消息如下：

   PUT /demo
   {
     "mappings": {
       "citytrip": {
         "properties": {
           "tripID": {
             "type": "integer"
           },
           "duration": {
             "type": "integer"
           },
           "startDate": {
             "type": "keyword"     
          },

           "startStation": {
             "type": "text"      
          },

           "startTermial": {
             "type": "integer"
           },
           "endDate": {
             "type": "keyword"      
          },

           "endStation": {
             "type": "text"      
          },

           "endTerminal": {
             "type": "integer"
           },
           "bike": {
             "type": "keyword"
           },
           "subscriberType": {
             "type": "keyword"
           },
           "zipCode": {
             "type": "keyword"
           }
         }
       }
     }
   }

   参考下面动画，将上面消息拷贝到kibana dev tools的左边console输入框。

    

   

3. 在数据迁移服务，创建云搜索服务连接。注意需要从云搜索服务集群列表下拷贝内网访问IP地址到数据迁移服务的连接器编辑框。

   

4. 在数据迁移服务下，创建导入从OBS导入数据到云搜索服务作业。

   注意事项：

   在向导界面第一步，由于原始文件使用zip压缩，在源连接配置参数“压缩格式”选择ZIP。

   在向导界面第二步，默认的字段映射不对，需要使用右上角三个按钮调整。

    

   

5.  在云搜索服务下，使用kibana搜索导入结果。