建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

彩虹上的水瓶座

发帖: 75粉丝: 34

级别 : 版主

发消息 + 关注

发表于2020年07月14日 12:24:02 3000 18
直达本楼层的链接
楼主
显示全部楼层
[开发者活动] 【活动结束~获奖名单公布~速速围观】五节课掌握华为云数仓硬核技能--第二期性能调优,论坛互动依然有奖哦!!!

能够看到该贴的朋友想必都是对数据仓库以及华为云感兴趣,想要了解华为云数据仓库的朋友,这里不赘述,请直接查看以下两个帖子进行初步了解。

初识数据仓库服务

解密华为数据仓库产品GaussDB for DWS(十问十答

初步了解之后,话不多说,来看直播大纲

五节课课程大纲

01   疫情一码通背后的超大数据仓库设计     --已结束

02   大厂面试必备:PB级数据仓库性能调优  --即将开始

03   数仓数据安全灵魂三问

04   数仓资源管控,让资源使用最大化

05   DWS如何实现一键式数据迁移?


第二节课

大厂面试必备:PB级数据仓库性能调优 活动时间:2020717日 20:00~21:00

参与方式:

1、微信添加小助手“speakerHTJ”加入GaussDB DWS微信技术讨论群,直播二维码将提前发到群内

2、直播链接:http://live.vhall.com/184832619

DWS直播宣传第二期-海报带二维码.png           


直播福利,参与华为云社区互动,大狮文化衫,棒球帽,华为手环,京东卡多重好礼等你拿


【参与互动】(可参考以下内容任选一个或多个进行回帖)

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

2.发表直播观后感

3. 回复测试环境验证任意截图 (验证代码及造数脚本请参考附件,基础操作帮助文档及视频请参考华为云数据仓库知识地图


活动时间2020年7月17日-7月24日

【奖励及规则】

1.优秀博文奖

获奖人数:1

奖励:京东购物卡500元

评奖规则:1、与直播主题相关 2、有一定技术干货  3、将博文链接作为回帖,活动结束后,会有工作人员从论坛(碎片空间或者精品大作)或者博客中,评选出优秀博文。

image.png


2.优秀评论奖

获奖人数:3

奖励:京东购物卡200元

评奖规则:活动结束后从回帖留言用户中评选出3名优秀建议奖(包含参与互动话题)

image.png


3.最佳人气奖

参与方式:参与回帖,并分享邀请小伙伴给自己的回帖进行评论或点赞

奖励:

获奖总人数:30

评奖规则:活动结束后按照评论或点赞数进行排序。

评论或点赞数>=80,大狮护体双肩包

评论或点赞数>=60,华为定制T-shirt

评论或点赞数>=30,棒球帽

定制T-shirt.png大狮双肩包.png棒球帽.png


4. 最佳体验奖

获奖人数:3

奖励:1000测试卷+华为手环(不一定是黑色哦)

评奖规则:活动结束后,回帖申请GaussDB DWS 500元测试券,并进行初步体验,完成所布置的题目,选择三名积极参与并提问的小伙伴获得奖励

提醒:测试券使用过程中,如果金额使用完毕,集群未删除会产生欠费,强烈建立费用快结束的时候删除集群

华为手环.PNG


【注意事项】

1.获奖结果将在活动结束后5个工作日内进行公示,所有奖品将在活动结束后十五个工作日内发放。

2.为防止有恶意发帖行为,同一ID回帖不得超过5条,若超过将取消获奖资格。

3.每个ID只能参与一次评选,同一ID不可重复中奖。

4.本次回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html

体验环境使用步骤

1、进去GaussDB DWS产品主页

2、点击“进入控制台

3、参考“数据仓库服务_快速入门” ,第三个视频手把手教你如何创建数仓及gsql客户端连接--当然得先申请测试劵

4、更多体验可以参考“华为云数据仓库知识地图”,由浅入深,带您玩转DWS


GaussDB(DWS)产品主页:https://www.huaweicloud.com/product/dws.html   

  GaussDB(DWS)产品主页二维码

产品主页二维码.png



分割线.png

 【中奖结果公布】

本次论坛互动活动已结束,感谢小伙伴们的积极参与!

话题互动幸运奖:经过评选,获得优秀评论奖,话题互动幸运奖和最佳人气奖的小伙伴名单如下,对于积极评论参与的小伙伴,我们也给与了相应的鼓励,

请小伙伴们在8月15日前到下面链接反馈收货信息,逾期礼品作废哦^_^  

https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=67938&page=1&extra=#pid285838


奖  项

     昵  称

   奖  品

备注
优秀评论奖 hw84820715 京东购物卡200元

优秀评论奖

hw69058831

京东购物卡200元


优秀评论奖 努力变好 京东购物卡200元
最佳人气奖 恺帝帝

大狮护体双肩


最佳人气奖 hw32779637

大狮护体双肩包


最佳人气奖 hw43783673 华为定制T-shirt
最佳人气奖 Lhosv 华为定制T-shirt
最佳人气奖 toonek247 华为定制T-shirt
最佳人气奖 yhl 华为定制T-shirt
最佳人气奖 Chad 华为定制T-shirt
鼓励奖

ad12344

华为定制T-shirt
鼓励奖

HX1234

华为定制T-shirt
鼓励奖 Tianyi_Li 华为定制T-shirt
鼓励奖

Flower_Ma

华为定制T-shirt


举报
分享

分享文章到朋友圈

分享文章到微博

jason635

发帖: 90粉丝: 5

级别 : 中级会员

发消息 + 关注

发表于2020年07月19日 20:21:43
直达本楼层的链接
沙发
显示全部楼层

【参与互动】(可参考以下内容任选一个或多个进行回帖)

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

    (1)在本活动页面,存在404超链接。   位置在“体验环境使用步骤---》3、参考“数据仓库服务__快速入门”。请修正。

    (2)请问GaussDB DWS产品在灾备方面有什么措施?如果某个节点瘫痪或宕机了,会不会引起集群瘫痪或宕机?

    (3)在入门资料里,有没有教学视频和简单应用场景案例视频(虚拟的案例,也可以)??因为,视频教程+直观上手操作,比较直观。

    (4)还有一个特别想问的问题。数据库调优感觉好难啊。有没有哪些低门槛的调优招数??华哥,请指教!!!

      


点赞 评论 引用 举报

jiajia635

发帖: 0粉丝: 0

级别 : 注册会员

发消息 + 关注

发表于2020年07月19日 21:24:15
直达本楼层的链接
板凳
显示全部楼层

【参与互动】(可参考以下内容任选一个或多个进行回帖)

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

(1)关系数据库,非关系数据库,这些东东有什么区别?和GaussDB for DWS是什么关系?要是能用直白的语言说清楚最好了。

(2)视频中,对比PCK技术会影响数据排序入库吗?这项技术和后面的数据统计有关吗?


2.发表直播观后感

      整个直播时长缩短了,这一点非常好。前面看过很多华为云直播基本都过了1小时了。直播或后看录播的时候,视频还是经常卡顿,不知道是什么原因。切换到语言,就不卡顿了。

       内容上,如果是小白听起来,理解还是很吃力很抽象的。怎么既实际形象讲明白这个产品,确实不容易、建议如果有可能的情况下,或者比较适合的情况下,能不能调整讲解目录结构,把案例放在前面,概念放在后面,或者穿插着讲解。

       剩下了,就是自己动手实践感受一下GaussDB。

      谢谢老师和所有华为云工作者

点赞 评论 引用 举报

Flower_Ma

发帖: 1粉丝: 0

级别 : 注册会员

发消息 + 关注

发表于2020年07月20日 00:18:55
直达本楼层的链接
地板
显示全部楼层

发表直播观后感

直播感觉较为简练,比较好。整个过程较为流畅,是一次很不错的分享。但实话实说,对于初次接触或者不太了解的朋友来说,还是比较难,感觉这个产品可能更适合公司或团队,对于我们个人来说,觉得有一些遥远,理解起来比较抽象,很难有直观地感觉和理解。

建议能够更多推出一些视频课程,比如这次直播,还有上次直播,以及以后的直播可以作为一个课程的基本素材,再加工一下就好。

此外,如果能够组织一个实战营或者说训练营,可能更好一下,给大家发放资源,可以亲手感受和试错,有直接的理解。

总的来说,还是可以感受到老师和工作人员的认真努力和付出,也期待越来越好,加油哦。


点赞 评论 引用 举报

hw84820715

发帖: 5粉丝: 2

级别 : 中级会员

发消息 + 关注

发表于2020年07月21日 01:08:15
直达本楼层的链接
5#
显示全部楼层

博文分享

https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=66618&page=1&extra=#pid277446

点赞1 评论 引用 举报

hw69058831

发帖: 1粉丝: 0

级别 : 注册会员

发消息 + 关注

发表于2020年07月22日 00:55:34
直达本楼层的链接
6#
显示全部楼层

仓开发这个岗位现在在大数据的影响下,对能力的要求是越来越高了。

spark、hive调优,数仓建模和分层架构,数据质量和数据治理这些点,都是需要有一定的掌握的。

对于0基础学习者来说,首先需要对自身的能力和兴趣有一个评估,是不是真的对数仓这一块感兴趣,并且能够最终做得下去。新手可以从以下几个方面来规划自己的学习:

1、SQL能力。数仓相关的岗位,常常也被戏称为“取数工程师”,足以说明这一块在工作当中的占比。成熟的数仓工程师,SQL技能是必须掌握的,要能够非常灵活的用SQL完成业务方提出的各种各样的关联的,分组的,随机抽样等等需求。


2、Hive基础及调优。基于Hadoop框架下的数仓,那必然是要掌握Hive相关的技能。要能根据需求来做调优,必要时也要能基于当前业务做二次开发


3、Spark基础及调优。Spark这一块也是做数仓必须要掌握的,能够让自己在技术上更进一步。

4.数据建模。数据仓库模型的应用,本身是为了调高效率,为了适应各种要求,有时候也需要做模型优化,解决疑难杂症。


5、业务理解能力。与数据相关的需求,那么必然与业务紧密相关,理解业务需求,才能有更清晰的分析思路。

点赞62 评论 引用 举报

Chad

发帖: 0粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年07月22日 11:49:46
直达本楼层的链接
7#
显示全部楼层

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

数据压缩算法有哪些?

数据仓库的数据迁移用哪种工具比较好?

2.发表直播观后感

整场直播不卡顿,声音也听的清楚,华哥讲的也很用心,对于我这种新晋新手来说,华哥讲的基本都能懂,很用心在讲了。

华哥和彩虹姐辛苦了,幕后的工作人员也辛苦了,直播观感很好,期待下一场直播

点赞61 评论 引用 举报

yhl

发帖: 3粉丝: 1

级别 : 中级会员

发消息 + 关注

发表于2020年07月22日 14:23:31
直达本楼层的链接
8#
显示全部楼层

关于数据仓库的几个方向需要去学习的地方

(1)ETL工程师:主要对数据质量进行管理,包括从操作型数据库中抽取数据,使用ETL工具或者存储过程进行数据清洗,最后加工成数据仓库上层表,为BI前台提供直接的数据源。对于SQL、ETL工具(如informatica、kettle等)使用的比较多。


(2)架构师:需要懂业务、懂技术,能为数仓提供可行、高效的设计路线。需要有很多的项目经验和扎实的理论基础。


(3)建模师:属于数仓的开发岗,需要有很好的PL/SQL基础,要熟悉几种建模理论,几种建模工具,对业务方面也有一定要求。


(4)BI工程师:设计、维护商务智能前台界面,包括代码编写、报表调整等,对这个岗位不很了解,不作赘述。


现在很多数据仓库岗位都需要熟悉大数据(Hadoop、Hive、Spark...)。其实除了常见的大数据组件,Greenplum也有必要接触下。再就是要想学习数仓,必要的理论基础还是要有的,推荐两本书:数据仓库(第四版)、数据仓库工具箱维度建模权威指南。


直播观后感:

老师讲的很不错,可见是用心在准备了,讲的知识都很受用,爱了爱了,学到了!

点赞88 评论 引用 举报

努力变好

发帖: 0粉丝: 1

级别 : 注册会员

发消息 + 关注

发表于2020年07月22日 18:27:28
直达本楼层的链接
9#
显示全部楼层

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

关于有效的性能调优的一些建议,只有采用有效的性能调优手段,才能使得性能调优达到事倍功半的效果。


1.算法本身的优化

算法优化是性能局部优化的首选, 并常采用各种性能监控软件来度量 CPU 时间、内存占用率、函数调用次数以问题定位,然后实施各种调优方法,如优化循环、利用空间换时间、采用合适的数据结构等。但是算法本身的优化只能够帮助大家消除一些明显的编程细节引起的瓶颈,尤其单单通过算法优化的手段还不能完全解决性能问题,且具有非常大的难度。


2.优化运行环境与资源

运行环境与资源包括各种软硬件平台,硬件环境包括 CPU、内存、磁盘以及网络等。最简单且最省事的调优方法是优化硬件资源,使用快速计算资源代替慢速计算资源,提升资源的计算能力。

优化硬件资源的方式包括:

①更快的 CPU;

②更快的本地 IO 设备,比如内存代替硬盘, SD 代替机械硬盘;

③加内存减少分页;

④快的网络 IO 设备,比如使用光纤及专线增加网络带宽,使用万兆千兆网卡代替千兆百兆网卡。


3.优化算法和资源间的交互

当前各种调优实践最集中的领域是优化算法和资源间的交互,如减少单台服务器(或单位计算资源)的处理量、充分利用系统资源、减少不必要的计算、减少不必要的 IO 等。

具体内容如下。

①减少单台服务器(或单位计算资源)的处理量

当在单台机器处理能力已达上限的情况,就需要把压力分散到多台机器上, 从而使每台机器都能获得可接受的延迟或吞吐量。总的优化原则是分而治之,具体维度包括业务、组件边界、访问频率或对系统资源的消耗程度、瓶颈资源等。

②充分利用系统资源

采用多进程、多线程、异步操作以及负载均衡等手段,其中负载均衡主要做到

了防止某台服务器过满和防止某台服务器过闲。

③减少不必要的计算次数

缓存计算结果,尤其是服务端缓存,以减少不必要的计算。

④减少不必要的 IO 次数

⑤网络 IO 次数:客户端缓存、CDN 缓存、合并资源以减少请求次数。

⑥磁盘 IO 次数:缓存常用数据,如利用 Redis、Memcached 进行缓存。


最后,我觉得指出缓存是减少不必要计算和 IO 的重要手段,缓存的设计主要是根据资源变化频率对资源进行分类,比如动静分离等;其前提是恰当的状态管理、分离无状态的逻辑和有状态的逻辑,但会付出对一致性的一定妥协和运维的复杂为代价。缓存的适用场景包括热点不均衡、有效时间不太短、一致性牺牲程度可接受。作者还指出以上所有优化手段可以组合使用,有冲突时再做权衡。


2.发表直播观后感

看完直播后获益匪浅,在看直播前还有一些关于数据仓库性能优化的问题不太懂,看完后懂了一些,感谢华哥和幕后所有工作人员的努力,让我有幸看到这场直播哈,期待。

点赞66 评论 引用 举报

恺帝帝

发帖: 1粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年07月23日 00:12:25
直达本楼层的链接
10#
显示全部楼层

【参与互动】(可参考以下内容任选一个或多个进行回帖)

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

对于大数据量数据入库数据库层面优化

优化参数:

|1.重建索引

|2.trx_commit sync_bin sql_log_bin 和IO有关参数

|3.批量提交SQL  insert commit; insert commit; 而是 for insert(10000) commit;

优化硬件:

OLTP环境,可以购买更好的硬盘来支撑业务,更好的网卡来支撑流量

数据导入,尽量在服务器端进行,不要使用sqlyog navicat等客户端工具,延迟高,没效率低

可以到处csv的方式进行数据导入,数据较快

业务优化

1.多线程处理,使用多线程同时读写数据

2.设置队列,做大量数据的缓冲工作(队列  内存缓存(redis memcache))

架构

1.使用一些mysql的特定的存储引擎来支撑大压力的数据入库

2.或者不用mysql,用一些nosql或者hadoop来支撑


如何使用Greenplum提升PB级数据处理能力??



2.发表直播观后感

讲得挺仔细的,听着收货很多,干货满满

支持华为,非常的棒

谢谢老师和所有华为云工作者,所有开发者们


点赞81 评论 引用 举报

hw32779637

发帖: 1粉丝: 1

级别 : 注册会员

发消息 + 关注

发表于2020年07月23日 00:19:17
直达本楼层的链接
11#
显示全部楼层

【参与互动】(可参考以下内容任选一个或多个进行回帖)

1.留下您对本次直播的疑问,不限技术,我们都将一一作答

如何基于对象存储打造一个高性能、完全托管的PB级MPP数据仓库


2.发表直播观后感

讲得非常仔细,❤❤❤送给老师助手工作者们,下面是调优的基本流程,非常不错

image.png

点赞81 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册