建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

EI

发帖: 83粉丝: 42

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-17 16:45:07 10239 33 楼主 显示全部楼层
【开发者英雄大会】AI+大数据的英雄之路(华为云第四期AI+大数据高校学习营)

ei copy.png

英雄征集令,未来!靠我们拯救

(该活动仅限高校师生参加)

英雄,你是否想过在未来,有什么能保护我们,在外星人强大的科技面前,在未来资源短缺,就业困难的情况下,什么才是拯救我们的出路,对,没错,就是人工智能,我们需要装备了最先进人工智能装甲的英雄来保护我们,他是否会是正坐在电脑前的你呢


“航母”级别AI+大数据课程,了解最先进技术,拿最高薪资,世界的未来在你手中


年轻的英雄,你想学习那种能力!

(本活动12月24日开始报名,1月19日报名截止,免费发放代金券,正式开课)

智能AI: 图引擎服务GES

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE008+Self-paced/about?isAuth=0&cfrom=hwc


数据接入:云数据迁移服务CDM                                                          

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE020+Self-paced/about

                                    

数据计算: 

实时流计算服务CS

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE021+Self-paced/about


数据湖搜索DLI 

DLI基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE002+2018.7/about

DLI高阶课程学习课堂:

https://bbs.huaweicloud.com/forum/thread-13944-1-1.html


MRS基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE006+Self-paced/about

MRS高阶课程学习课堂:

https://bbs.huaweicloud.com/forum/thread-13948-1-1.html

                  

数据存储分析: 

DWS基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE004+2018.7/about

DWS高阶课程学习课堂:

稍后公开            

                                                                                                                    

数据工具:数据湖工厂DLF

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE012+Self-paced/about?isAuth=0&cfrom=hwc


活动时间:

时间1月19日1月14日1月21日
1月28日1月31日
活动流程报名截止发放代金券作业一反馈

作业二回帖

作业三反馈

完成评奖及作业反馈


注册链接:https://reg.huaweicloud.com/registerui/public/custom/register.html?locale=zh-cn#/register

华为云注册码.png                             小助手.png

                                     华为云官网注册二维码                                          华为云EI小助手(添加小助手报名活动)


实名认证&学生认证:用户注册完毕之后进入右上角账户中心进行实名认证与学生认证,学生认证需要花费一段时间,请在活动微信群耐心等待,完成学生认证后截图小助手确认避免失去活动参与资格,ps:账户名以账户中心——账户名为准(非登录手机号及邮箱)


1. 课程须知:

(1)“免费”课程券发放:课程启动期间,管理员会为参与课程的学员发放服务代金券。代金券申请下来后,可登录华为云,进入“费用”—“优惠与折扣”查看可用代金券信息,代金券发放成功之后用户开始使用服务会自动扣费,无需进行其他操作,闲置时请及时删除资源避免持续扣费造成欠费,如果欠费需要自行核销

(2)、课程学习:学习链接待报名结束后开放。

(3)、完成作业:完成7个服务(图引擎服务GES,数据湖搜索DLI,MapReduce服务MRS,实时流计算服务CS,云数据迁移服务CDM ,数据仓库服务 DWS,数据湖工厂DLF)的作业一,完成任意三个服务作业二及一个服务作业三。

特别说明:已经参与过1,2,3期的学员需要完成以下3个服务(数据湖搜索DLI,MapReduce服务MRS, 数据仓库服务 DWS)中的一个高阶课程作业三,或以下3个服务(云数据迁移服务CDM ,实时流计算服务CS,数据湖工厂DLF)中的一个初阶课程作业三

(4)、作业反馈:到本帖下回复:华为云账户名+三个服务作业二的截图, 并将作业三按格式要求打包发送至作业邮箱(见FAQ)。


2. 专家答疑: 

答疑时间

完成作业时间

周二,周四19:00~21:00

2019-1-31前


优秀奖励:


一等奖5人:华为无线耳机、华为路由器、运动蓝牙耳机+华为手环(任选其一)

截图.jpg

二等奖10人:华为自动降噪耳机、华为运动手环+Colortooth多彩蓝牙耳机、华为路由A1(任选其一)


二等奖.jpg

三等奖15人:荣耀路由器、音乐小巨蛋、荣耀手环4(任选其一)

 

共同进步奖5人:奖品同三等奖。

共同参与奖5人:奖品同三等奖。

(获奖人数根据作业反馈情况适当增减)


评奖规则

  • 完成1.2的作业,并按1.3要求反馈,通过反馈的作业结果的优质程度进行评优;

  • 共同进步奖(可以与一二三等奖累加获奖), 奖励学习群里积极帮助同学答疑、分享优质经验到华为云EI论坛的同学;

  • 共同参与奖(可以与一二三等奖累加获奖), 奖励积极推荐周边同学参与活动,被推荐的学员需完成7个服务资源的创建;

  • 奖品将于活动结束后15个工作日内发放完毕;


注意事项

1. 如出现相同代码,以回复时间最早的为有效代码,其他均视为无效;

2. 获奖用户需按引导提供收货人信息, 否则视为自动放弃;

3. 奖品视为特殊商品,颜色和型号随机发送,发出后,不予退换;

4. 请大家文明参与活动,凡涉单人注册多账号重复领奖或抄袭行为,一经查出,取消获奖资格;

活动FAQ:https://bbs.huaweicloud.com/forum/thread-10948-1-1.html



扫码入群

     01.png      

  





回复 举报
分享

分享文章到朋友圈

分享文章到微博

蓝书签

发帖: 30粉丝: 9

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-24 18:08:09 沙发 显示全部楼层

Mark,这个华为云开发者英雄大会赛道活动和之前学习营活动冲突么

点赞 回复 举报

EI

发帖: 83粉丝: 42

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-24 19:46:05 板凳 显示全部楼层
蓝书签 发表于 2018-12-24 18:08 Mark,这个华为云开发者英雄大会赛道活动和之前学习营活动冲突么

不冲突,已经参与过的同学可以参加高阶课程了

点评

顶你: 5.0
顶你: 5
谢谢  发表于 2018-12-24 19:51
点赞1 回复 举报

libulnn

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于7 天前 地板 显示全部楼层
EI 发表于 2018-12-24 19:46 不冲突,已经参与过的同学可以参加高阶课程了

账户名:libulnn

三个服务作业二截图:


点赞 回复 举报

砖头2333

发帖: 1粉丝: 2

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于7 天前 5# 显示全部楼层

zhuantou233

爬坑及结果

1. GES服务作业二

最简单的作业


2. CS服务

作业二开放性就不讲了,先看作业一的结果

首先需要看完 https://github.com/huaweicloud/huaweicloud-cs-sdk/blob/master/huaweicloud-cs-examples/GetStart_traffic-overspeed_example.md  里面的内容;

其次参数设置方面需要注意的地方有:

  • channel = "csinput" # 在DIS中新建的通道名称,如下图,如果通道名称改了,务必确认代码配置中也对应改了;同理对SMN主题也成立


Screen Shot 2019-01-16 at 10.19.22 PM.png

  • type = "smn" # SMN为简单消息服务,步骤:1. 新建SMN通道,得到URN(下面的topic_urn)和主题名(下面的message_subject); 2. 添加订阅,这里添加订阅务必保证订阅状态是成功而不是“未确认”(如下图),根据我的测试,icloud邮箱能接受到订阅邮件,但是qq邮箱不能,所以最好多填几个不同的邮箱

Screen Shot 2019-01-16 at 10.22.19 PM.png

  • 修改conf/agent.yml,除了aksk之外,在linux上 filePattern: /Users/admin/h/dis-agent-1.0.4/data/*.log ,在windows上设置路径为 filePattern: E:\Huawei\dis-agent-1.1.0.1\data\*.log;还有windows上执行.bat,linux执行.sh,Linux上启动成功的话命令行是会输出DIS Agent start success类似的,否则就是失败;关闭DIS agent要执行那个stop-xxx-xxx.sh


  • 发送DIS数据,给的代码是scala,不会的同学可以使用python代替,不会python的同学可以使用java代替,总之只是简单的写入一行数据,python如下

import time

my_list = [
    "0001,20171202081202,20171202081203,true,23.1234532,35.3321232,91.23,east,200,20321",        
    "0001,20171202081203,20171202081204,true,23.1234535,35.3321231,95.43,east,201,20321",        
    "0001,20171202081205,20171202081206,true,23.1234537,35.3321236,102.01,east,200,20321",        
    "0002,20171202081206,20171202081207,true,23.1234533,35.3321231,105.04,north,232,12342"]
for i in range(300):
    with open('./test.log', 'a+') as f:
        f.write(my_list[i % len(my_list)] + '\n')
    time.sleep(1)


3. DLI服务

也很简单

dli-作业二-1.PNG

建表语句,注意s3桶的路径需要修改为自己的路径,chicago.csv数据的路径貌似都是坏的,可以在微信群里找到其他同学发的,或者在群里问一下,万分注意这里的csv文件是保留了colum名称的(下文伏笔)

create table chicago(
  room_id long,
  survey_id int,
  host_id long,
  room_type string,
  country string,
  city string,
  borough string,
  neighborhood string,
  reviews int,
  overall_satisfaction float,
  accommodates int,
  bedrooms float,
  bathrooms string,
  price float,
  minstay string,
  last_modified string,
  latitude double,
  longitude double,
  location string
) USING csv OPTIONS (path "s3a://obs-zhuantou233/obs-dli/chicago.csv")


4. DWS服务

也很简单,按照 https://support.huaweicloud.com/qs-dws/dws_01_0110.html 里面一步一步来就行了,注意这里不需要自己的桶,可以从公共桶中得到数据;还有windows的同学可以用Data Studio,直接下载就行了,mac的同学可以搜索TablePlus https://tableplus.io/ 也很好用


5. MRS服务

也很简单,按照 https://obs-train-data.obs-website.cn-north-1.myhwclouds.com/MRS作业二操作指导书.docx 指导书来就完事了,集群创建如果80%以上的时候失败可以再创建一次,如果还是失败可能配置除了问题;jar包代码的获取方式是进入 https://devcloud.huaweicloud.com/classroom/joinhomework/e52406dd92b44b7b94dd24070b7fb4a5/329a5759ec9d4d7284dcc86171629932 这个作业,在构建&发布->编译构建里面 运行driver_behavior-qqLhR任务,完成后下载下来就是jar包


6. DLF服务

新出的服务,这个就是建立在稍微了解DLI的情况下,可以实现自动定时流水线形式的DLI,也很简单,可以在DLI的基础上接着做,首先是“数据连接管理”,务必确保连接成功,且能看到之前建的表chicago,脚本开发和创建作业就按照提示来就完事了


7. CDM服务

  • 创建集群按照提示来就行了,CDM前提是DWS数据库也已经创建好了,DWS创建完成后需要建表,但是视频里似乎没讲清楚,dws连接需要schema和表名称,这里参考前面的实验稍作修改,schema名chicago_data,数据表名chicago

create schema chicago_data;
set current_schema= chicago_data;
drop table if exists chicago;
CREATE TABLE chicago
(
  room_id BIGINT,
  survey_id INT,
  host_id BIGINT,
  room_type VARCHAR(64),
  country VARCHAR(64),
  city VARCHAR(64),
  borough VARCHAR(64),
  neighborhood VARCHAR(64),
  reviews INT,
  overall_satisfaction FLOAT,
  accommodates INT,
  bedrooms FLOAT,
  bathrooms VARCHAR(64),
  price FLOAT,
  minstay VARCHAR(64),
  last_modified VARCHAR(64),
  latitude DOUBLE PRECISION,
  longitude DOUBLE PRECISION,
  location VARCHAR(64)
)
with (orientation = column, COMPRESSION=MIDDLE)
distribute by replication;
  • 连接管理部分,obs连接需要aksk,如果DWS已经创建好了,dws连接会识别到;这个两个都可以先测试连通性

  • 数据部分,也是chicago.csv,但是伏笔来了,这里我把表头删了(就是没有column名称)



作业二基本完事了,大家新年快乐,略略略略


后续可能写一下作业三吧,反正DLS是估计没了




点赞 回复 举报

caoxixiya

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于6 天前 6# 显示全部楼层

账户名:caoxixiya

作业截图:

  1. GES


点赞 回复 举报

caoxixiya

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于6 天前 7# 显示全部楼层

账户名:caoxixiya

作业截图

1.GES

2.DWS

3.CDM


点赞 回复 举报

yd_3862966...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于6 天前 8# 显示全部楼层
砖头2333 发表于 2019-1-16 23:13 zhuantou233爬坑及结果1. GES服务作业二最简单的作业2. CS服务作业二开放性就不讲了,先看作业一的结果首先 ...

windows上用记事本打开不能直接复制进去,会报错,估计是编码格式和一些转义字符不匹配,只能慢慢看把需要AK、SK、路径等等...的内容改了,路径只要没有中文就ok了

点赞1 回复 举报

机器学习小...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于6 天前 9# 显示全部楼层

账号:qq1095299292

====================

作业截图:

====================

# 1. 图引擎服务GES 作业二:

# 2. 数据湖搜索DLI 作业二:

# 3. 数据存储分析DWS 作业二

# 4. 云数据迁移CDM 作业一


# 5. 数据湖工厂DLF 作业一

1.png


点赞 回复 举报

ZCF8079330...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于6 天前 10# 显示全部楼层

用户名 ZCF807933012

  1. cdm

    image.png

    image.png

  2. dws

    image.pngimage.pngimage.pngimage.pngimage.png

  3. ges

    image.pngimage.png

点赞 回复 举报

游客

您需要登录后才可以回帖 登录 | 立即注册