作者小头像 Lv.1
更多个人资料
33 成长值
1 关注
2 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

云计算、大数据
个人勋章
TA还没获得勋章~
成长雷达
30
3
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

云计算、大数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
基于多用户共享的Spark集群弹性扩缩容
DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。
spark 数据湖探索 DLI EI企业智能 智能数据
作者小头像 霞光 2020-12-28 23:32:32
9273
0
1
2020-12-28 23:32:32
999+
0
1
Spark Dynamic Allocation动态资源分配使用方法
1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。动态增加executor配置项：spark.dynamicAllocation.schedulerBacklogTimeout说明...
EI企业智能 智能数据 spark 数据湖探索 DLI
作者小头像 霞光 2020-08-31 20:32:27
19617
0
1
2020-08-31 20:32:27
999+
0
1
浅谈Hive on Spark 与 Spark SQL的区别
Hive On Spark大体与Spark SQL结构类似，只是SQL引擎不同，但是计算引擎都是Spark。将Spark作为计算引擎，性能会比传统的MapReduce快很多。华为云DLI服务全面兼容Spark能力，DLI SQL在封装Spark SQL的同时，集成了carbon和carbondata的全部功能，同时兼容传统的DataSource和hive语法建表，支持跨源访问多个服务的数据，增强了
spark Hive SQL
作者小头像 霞光 2020-06-22 23:47:11
18492
0
1
2020-06-22 23:47:11
999+
0
1
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信