云社区 > 云博客 > 博客详情
云社区 > 云博客 > 博客详情

【案例分享】如何使用数据迁移服务从OBS加载数据到云搜索服务

lixinlong 发表于 2018-05-10 16:59:3805-10 16:59
lixinlong 发表于 2018-05-10 16:59:3805-10 16:59
0
2

【摘要】 sdfsdf 准备数据:手工将测试数据数据‍上传到OBS 在云搜索服务创建搜索 在数据迁移服务,创建云搜索服务连接。 在数据迁移服务下,创建导入从OBS导入数据到云搜索服务作业。 在云搜索服务下,搜索导入结果。

本文介绍如何通过云数据迁移服务向导式界面,轻松地将存储在华为云对象存储服务(OBS)上的文本文件数据加载到云搜索服务上。

云搜索服务是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本的多条件检索、统计、报表。云数据迁移服务提供界面向导式数据迁移服务,帮助客户将数据从云下迁移到云上,从阿里云、腾讯云等第三方迁移到华为、以及华为云服务间数据迁移。支持以下数据源类型:


  • 支持FTP、SFTP、OBS、HDFS、NAS(CIFS/SMB)文件类数据源

  • 支持MySQL、Oracle、Db2、SQLServer、PostgreSQL数据库,自建或第三方云服务

  • 支持MRS(Hive/HDFS/HBase)、DWS、RDS、CloudTable、DIS、Elasticsearch云服务

  • 支持NoSQL数据库:Redis、MongoDB以及DCS、DDS云服务

 

从OBS加载数据到云搜索服务,需要执行以下步骤(请点击下面动画,在独立窗口显示效果更佳)。


  1. 准备数据:手工将测试数据数据上传到OBS

    本教程数据为自行车旅行记录,数据结构如下

    citytrip.JPG

     

    在附件中有原始数据文件city_trip.zip,请参考下面界面,在对象存储服务下,直接用浏览器上传原始文件到桶testdata下。

     

     

     

    上传数据.gif 

  2. 在云搜索服务,使用kibana创建搜索,创建搜索的消息如下:

    PUT /demo
    {
      "mappings": {
        "citytrip": {
          "properties": {
            "tripID": {
              "type": "integer"
            },
            "duration": {
              "type": "integer"
            },
            "startDate": {
              "type": "keyword"     
           },

            "startStation": {
              "type": "text"      
           },

            "startTermial": {
              "type": "integer"
            },
            "endDate": {
              "type": "keyword"      
           },

            "endStation": {
              "type": "text"      
           },

            "endTerminal": {
              "type": "integer"
            },
            "bike": {
              "type": "keyword"
            },
            "subscriberType": {
              "type": "keyword"
            },
            "zipCode": {
              "type": "keyword"
            }
          }
        }
      }
    }

    参考下面动画,将上面消息拷贝到kibana dev tools的左边console输入框。

     

    创建es搜索.gif

  3. 在数据迁移服务,创建云搜索服务连接。注意需要从云搜索服务集群列表下拷贝内网访问IP地址到数据迁移服务的连接器编辑框。

    建立es连接.gif

  4. 在数据迁移服务下,创建导入从OBS导入数据到云搜索服务作业。

    注意事项:

    在向导界面第一步,由于原始文件使用zip压缩,在源连接配置参数“压缩格式”选择ZIP。

    在向导界面第二步,默认的字段映射不对,需要使用右上角捕获.JPG三个按钮调整。

     

    从obs导入到es.gif

  5.  在云搜索服务下,使用kibana搜索导入结果。

    es搜索.gif

     

city_trip.zip下载2次

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享文章到微博
分享文章到朋友圈

相关文章


评论(0)


0/1000
评论

登录后可评论,请 登录注册

评论
温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消