建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

EI

发帖: 99粉丝: 50

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-17 16:45:07 108330 96 楼主 显示全部楼层
【开发者英雄大会】AI+大数据的英雄之路(华为云第四期AI+大数据高校学习营)

ei copy.png

英雄征集令,未来!靠我们拯救

(该活动仅限高校师生参加)

英雄,你是否想过在未来,有什么能保护我们,在外星人强大的科技面前,在未来资源短缺,就业困难的情况下,什么才是拯救我们的出路,对,没错,就是人工智能,我们需要装备了最先进人工智能装甲的英雄来保护我们,他是否会是正坐在电脑前的你呢


“航母”级别AI+大数据课程,了解最先进技术,拿最高薪资,世界的未来在你手中


年轻的英雄,你想学习那种能力!

(本活动12月24日开始报名,1月19日报名截止,免费发放代金券,正式开课)

智能AI: 图引擎服务GES

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE008+Self-paced/about?isAuth=0&cfrom=hwc


数据接入:云数据迁移服务CDM                                                          

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE020+Self-paced/about

                                    

数据计算: 

实时流计算服务CS

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE021+Self-paced/about


数据湖搜索DLI 

DLI基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE002+2018.7/about

DLI高阶课程学习课堂:

https://bbs.huaweicloud.com/forum/thread-13944-1-1.html


MRS基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE006+Self-paced/about

MRS高阶课程学习课堂:

https://bbs.huaweicloud.com/forum/thread-13948-1-1.html

                  

数据存储分析: 

DWS基础课程学习课堂:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE004+2018.7/about

DWS高阶课程学习课堂:

稍后公开            

                                                                                                                    

数据工具:数据湖工厂DLF

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE012+Self-paced/about?isAuth=0&cfrom=hwc


活动时间:

时间1月19日1月14日1月21日
1月28日1月31日
活动流程报名截止发放代金券作业一反馈

作业二回帖

作业三反馈

完成评奖及作业反馈


注册链接:https://reg.huaweicloud.com/registerui/public/custom/register.html?locale=zh-cn#/register

华为云注册码.png                             小助手.png

                                     华为云官网注册二维码                                          华为云EI小助手(添加小助手报名活动)


实名认证&学生认证:用户注册完毕之后进入右上角账户中心进行实名认证与学生认证,学生认证需要花费一段时间,请在活动微信群耐心等待,完成学生认证后截图小助手确认避免失去活动参与资格,ps:账户名以账户中心——账户名为准(非登录手机号及邮箱)


1. 课程须知:

(1)“免费”课程券发放:课程启动期间,管理员会为参与课程的学员发放服务代金券。代金券申请下来后,可登录华为云,进入“费用”—“优惠与折扣”查看可用代金券信息,代金券发放成功之后用户开始使用服务会自动扣费,无需进行其他操作,闲置时请及时删除资源避免持续扣费造成欠费,如果欠费需要自行核销

(2)、课程学习:学习链接待报名结束后开放。

(3)、完成作业:完成7个服务(图引擎服务GES,数据湖搜索DLI,MapReduce服务MRS,实时流计算服务CS,云数据迁移服务CDM ,数据仓库服务 DWS,数据湖工厂DLF)的作业一,完成任意三个服务作业二及一个服务作业三。

特别说明:已经参与过1,2,3期的学员需要完成以下3个服务(数据湖搜索DLI,MapReduce服务MRS, 数据仓库服务 DWS)中的一个高阶课程作业三,或以下3个服务(云数据迁移服务CDM ,实时流计算服务CS,数据湖工厂DLF)中的一个初阶课程作业三

(4)、作业反馈:到本帖下回复:华为云账户名+三个服务作业二的截图, 并将作业三按格式要求打包发送至作业邮箱(见FAQ)。


2. 专家答疑: 

答疑时间

完成作业时间

周二,周四19:00~21:00

2019-1-31前


优秀奖励:


一等奖5人:华为无线耳机、华为路由器、运动蓝牙耳机+华为手环(任选其一)

截图.jpg

二等奖10人:华为自动降噪耳机、华为运动手环+Colortooth多彩蓝牙耳机、华为路由A1(任选其一)


二等奖.jpg

三等奖15人:荣耀路由器、音乐小巨蛋、荣耀手环4(任选其一)

 

共同进步奖5人:奖品同三等奖。

共同参与奖5人:奖品同三等奖。

(获奖人数根据作业反馈情况适当增减)


评奖规则

  • 完成1.2的作业,并按1.3要求反馈,通过反馈的作业结果的优质程度进行评优;

  • 共同进步奖(可以与一二三等奖累加获奖), 奖励学习群里积极帮助同学答疑、分享优质经验到华为云EI论坛的同学;

  • 共同参与奖(可以与一二三等奖累加获奖), 奖励积极推荐周边同学参与活动,被推荐的学员需完成7个服务资源的创建;

  • 奖品将于活动结束后15个工作日内发放完毕;


注意事项

1. 如出现相同代码,以回复时间最早的为有效代码,其他均视为无效;

2. 获奖用户需按引导提供收货人信息, 否则视为自动放弃;

3. 奖品视为特殊商品,颜色和型号随机发送,发出后,不予退换;

4. 请大家文明参与活动,凡涉单人注册多账号重复领奖或抄袭行为,一经查出,取消获奖资格;

活动FAQ:https://bbs.huaweicloud.com/forum/thread-10948-1-1.html



扫码入群

     01.png      

  



———————————————————————————————————————————————— 

 共同参与奖:

 尹鋆泰 西安电子科技大学

胡毅荣 浙江大学

刘炳成 西安交通大学

许兆龙 杭州电子科技大学

 

共同进步奖:

周韬 中国科技大学

王峰 西安邮电大学

黎经元 浙江大学

张胜奎 北京大学

 

一等奖

黎经元 浙江大学

陈楠祺 西安电子科技大学

李博 西安交通大学

 

二等奖

李想 中国科技大学

刘昌 西安电子科技大学

王帆 西安交通大学

张超凡 西北工业大学

匡文明 浙江大学

王峰 西安邮电大学

卢可 浙江大学

梁钢 浙江大学

 

三等奖:

张胜奎 北京大学

陈析瞻 武汉科技大学

廖敏之 英属哥伦比亚大学

叶宏飞杭州电子科技大学

王家奋 厦门大学

尹鋆泰 西安电子科技大学

王俊 西安交通大学

方启迪 杭州电子科技大学

权博 陕西科技大学

周韬 中国科技大学

陈建朋 西北师范大学

谢君陶 暨南大学

 

恭喜以上获奖同学,请以上获奖同学尽快联系小助手领取奖品,过期未反馈的同学将失去获奖资格。

 

 

 


举报
分享

分享文章到朋友圈

分享文章到微博

蓝书签

发帖: 56粉丝: 16

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-24 18:08:09 沙发 显示全部楼层

Mark,这个华为云开发者英雄大会赛道活动和之前学习营活动冲突么

点赞 引用 举报

EI

发帖: 99粉丝: 50

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2018-12-24 19:46:05 板凳 显示全部楼层
蓝书签 发表于 2018-12-24 18:08 Mark,这个华为云开发者英雄大会赛道活动和之前学习营活动冲突么

不冲突,已经参与过的同学可以参加高阶课程了

评论
顶你: 5.0
蓝书签 2018-12-24 19:51 评论

顶你: 5
谢谢

... 查看全部
点赞1 引用 举报

libulnn

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-16 09:11:45 地板 显示全部楼层
EI 发表于 2018-12-24 19:46 不冲突,已经参与过的同学可以参加高阶课程了

账户名:libulnn

三个服务作业二截图:


点赞 引用 举报

砖头2333

发帖: 1粉丝: 2

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-16 23:13:05 5# 显示全部楼层

zhuantou233

爬坑及结果

1. GES服务作业二

最简单的作业


2. CS服务

作业二开放性就不讲了,先看作业一的结果

首先需要看完 https://github.com/huaweicloud/huaweicloud-cs-sdk/blob/master/huaweicloud-cs-examples/GetStart_traffic-overspeed_example.md  里面的内容;

其次参数设置方面需要注意的地方有:

  • channel = "csinput" # 在DIS中新建的通道名称,如下图,如果通道名称改了,务必确认代码配置中也对应改了;同理对SMN主题也成立


Screen Shot 2019-01-16 at 10.19.22 PM.png

  • type = "smn" # SMN为简单消息服务,步骤:1. 新建SMN通道,得到URN(下面的topic_urn)和主题名(下面的message_subject); 2. 添加订阅,这里添加订阅务必保证订阅状态是成功而不是“未确认”(如下图),根据我的测试,icloud邮箱能接受到订阅邮件,但是qq邮箱不能,所以最好多填几个不同的邮箱

Screen Shot 2019-01-16 at 10.22.19 PM.png

  • 修改conf/agent.yml,除了aksk之外,在linux上 filePattern: /Users/admin/h/dis-agent-1.0.4/data/*.log ,在windows上设置路径为 filePattern: E:\Huawei\dis-agent-1.1.0.1\data\*.log;还有windows上执行.bat,linux执行.sh,Linux上启动成功的话命令行是会输出DIS Agent start success类似的,否则就是失败;关闭DIS agent要执行那个stop-xxx-xxx.sh


  • 发送DIS数据,给的代码是scala,不会的同学可以使用python代替,不会python的同学可以使用java代替,总之只是简单的写入一行数据,python如下

import time

my_list = [
    "0001,20171202081202,20171202081203,true,23.1234532,35.3321232,91.23,east,200,20321",        
    "0001,20171202081203,20171202081204,true,23.1234535,35.3321231,95.43,east,201,20321",        
    "0001,20171202081205,20171202081206,true,23.1234537,35.3321236,102.01,east,200,20321",        
    "0002,20171202081206,20171202081207,true,23.1234533,35.3321231,105.04,north,232,12342"]
for i in range(300):
    with open('./test.log', 'a+') as f:
        f.write(my_list[i % len(my_list)] + '\n')
    time.sleep(1)


3. DLI服务

也很简单

dli-作业二-1.PNG

建表语句,注意s3桶的路径需要修改为自己的路径,chicago.csv数据的路径貌似都是坏的,可以在微信群里找到其他同学发的,或者在群里问一下,万分注意这里的csv文件是保留了colum名称的(下文伏笔)

create table chicago(
  room_id long,
  survey_id int,
  host_id long,
  room_type string,
  country string,
  city string,
  borough string,
  neighborhood string,
  reviews int,
  overall_satisfaction float,
  accommodates int,
  bedrooms float,
  bathrooms string,
  price float,
  minstay string,
  last_modified string,
  latitude double,
  longitude double,
  location string
) USING csv OPTIONS (path "s3a://obs-zhuantou233/obs-dli/chicago.csv")


4. DWS服务

也很简单,按照 https://support.huaweicloud.com/qs-dws/dws_01_0110.html 里面一步一步来就行了,注意这里不需要自己的桶,可以从公共桶中得到数据;还有windows的同学可以用Data Studio,直接下载就行了,mac的同学可以搜索TablePlus https://tableplus.io/ 也很好用


5. MRS服务

也很简单,按照 https://obs-train-data.obs-website.cn-north-1.myhwclouds.com/MRS作业二操作指导书.docx 指导书来就完事了,集群创建如果80%以上的时候失败可以再创建一次,如果还是失败可能配置除了问题;jar包代码的获取方式是进入 https://devcloud.huaweicloud.com/classroom/joinhomework/e52406dd92b44b7b94dd24070b7fb4a5/329a5759ec9d4d7284dcc86171629932 这个作业,在构建&发布->编译构建里面 运行driver_behavior-qqLhR任务,完成后下载下来就是jar包


6. DLF服务

新出的服务,这个就是建立在稍微了解DLI的情况下,可以实现自动定时流水线形式的DLI,也很简单,可以在DLI的基础上接着做,首先是“数据连接管理”,务必确保连接成功,且能看到之前建的表chicago,脚本开发和创建作业就按照提示来就完事了


7. CDM服务

  • 创建集群按照提示来就行了,CDM前提是DWS数据库也已经创建好了,DWS创建完成后需要建表,但是视频里似乎没讲清楚,dws连接需要schema和表名称,这里参考前面的实验稍作修改,schema名chicago_data,数据表名chicago

create schema chicago_data;
set current_schema= chicago_data;
drop table if exists chicago;
CREATE TABLE chicago
(
  room_id BIGINT,
  survey_id INT,
  host_id BIGINT,
  room_type VARCHAR(64),
  country VARCHAR(64),
  city VARCHAR(64),
  borough VARCHAR(64),
  neighborhood VARCHAR(64),
  reviews INT,
  overall_satisfaction FLOAT,
  accommodates INT,
  bedrooms FLOAT,
  bathrooms VARCHAR(64),
  price FLOAT,
  minstay VARCHAR(64),
  last_modified VARCHAR(64),
  latitude DOUBLE PRECISION,
  longitude DOUBLE PRECISION,
  location VARCHAR(64)
)
with (orientation = column, COMPRESSION=MIDDLE)
distribute by replication;
  • 连接管理部分,obs连接需要aksk,如果DWS已经创建好了,dws连接会识别到;这个两个都可以先测试连通性

  • 数据部分,也是chicago.csv,但是伏笔来了,这里我把表头删了(就是没有column名称)



作业二基本完事了,大家新年快乐,略略略略


后续可能写一下作业三吧,反正DLS是估计没了



GES作业三
https://blog.csdn.net/qq_28863845/article/details/86594966

或者

https://bbs.huaweicloud.com/blogs/7f60fd741a3511e9bd5a7ca23e93a891


CS作业二
https://blog.csdn.net/qq_28863845/article/details/86594819
或者
https://bbs.huaweicloud.com/blogs/4d3d19a11c0511e9bd5a7ca23e93a891


DLF作业三
https://blog.csdn.net/qq_28863845/article/details/86595065

或者

https://bbs.huaweicloud.com/blogs/2b55fa491cc611e9bd5a7ca23e93a891


DLI作业三
https://bbs.huaweicloud.com/blogs/d259b54920a111e9bd5a7ca23e93a891

评论
september12th 2019-1-24 17:47 评论

厉害了,作业三做的好棒

... 查看全部
点赞1 引用 举报

caoxixiya

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-17 19:40:09 6# 显示全部楼层

账户名:caoxixiya

作业截图:

  1. GES


点赞 引用 举报

caoxixiya

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-17 19:47:45 7# 显示全部楼层

账户名:caoxixiya

作业截图

1.GES

2.DWS

3.CDM


点赞 引用 举报

yd_3862966...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-17 21:53:21 8# 显示全部楼层
砖头2333 发表于 2019-1-16 23:13 zhuantou233爬坑及结果1. GES服务作业二最简单的作业2. CS服务作业二开放性就不讲了,先看作业一的结果首先 ...

windows上用记事本打开不能直接复制进去,会报错,估计是编码格式和一些转义字符不匹配,只能慢慢看把需要AK、SK、路径等等...的内容改了,路径只要没有中文就ok了

点赞1 引用 举报

机器学习小...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-17 22:23:53 9# 显示全部楼层

账号:qq1095299292

====================

作业截图:

====================

# 1. 图引擎服务GES 作业二:

# 2. 数据湖搜索DLI 作业二:

# 3. 数据存储分析DWS 作业二

# 4. 云数据迁移CDM 作业一


# 5. 数据湖工厂DLF 作业一

1.png


点赞 引用 举报

ZCF8079330...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-17 23:52:58 10# 显示全部楼层

用户名 ZCF807933012

  1. cdm

    image.png

    image.png

  2. dws

    image.pngimage.pngimage.pngimage.pngimage.png

  3. ges

    image.pngimage.png

点赞 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册