作者小头像 Lv.3
更多个人资料
254 成长值
1 关注
14 粉丝
+ 关注 私信

个人介绍

华为云云享专家 华为认证大数据HCIE

感兴趣或擅长的领域

人工智能、大数据、数据库、微服务架构、编程语言
个人勋章
TA还没获得勋章~
成长雷达
210
24
0
0
20

个人资料

个人介绍

华为云云享专家 华为认证大数据HCIE

感兴趣或擅长的领域

人工智能、大数据、数据库、微服务架构、编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
Druid启动
node01 /opt/module/imply-3.0.4/bin/supervise -c /opt/module/imply-3.0.4/conf/supervise/master-no-zk.conf --daemonize node02 /opt/module/imply-3.0.4/bin/supervise -c /opt/module/imply-3.0.4/c...
作者小头像 百忍成金的虚竹
479
0
0
2021-05-13 01:54:43
479
0
0
synchronized用法
1.方法声明时使用,放在范围操作符(public等)之后,返回类型声明(void等)之前.即一次只能有一个线程进入该方法,其他线程要想在此时调用该方法,只能排队等候,当前线程(就是在synchronized方法内部的线程)执行完该方法后,别的线程才能进入. 例如: public synchronized void synMethod() { //方法体 } 2.对某一代码块...
作者小头像 百忍成金的虚竹
1142
0
0
2021-05-15 00:47:23
999+
0
0
Hive调优参数篇
image.png 工作中常用的 hive 参数调优，整理如下。 原则： • 最少数据 • 最少字段 • 最少Job数 • 最少读取次数 • 避免数据倾斜 • 整体最优而不是局部最优 • JVM 内存 文件大小合理切分 这里需要结合集群的资源来合理的设置切片大小。 # 文件分割大小 set mapreduce.input.fileinputformat.split...
作者小头像 百忍成金的虚竹
1472
0
0
2021-05-20 03:11:51
999+
0
0
Flink 实时计算在微博的应用
Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。...
作者小头像 百忍成金的虚竹
1545
0
0
2021-05-27 00:17:43
999+
0
0
Presto大纲
Presto概念 https://www.jianshu.com/p/35e72e7f3b3d Presto架构 https://www.jianshu.com/p/35e72e7f3b3d Presto优缺点 https://www.jianshu.com/p/35e72e7f3b3d Presto、Impala性能比较 https://www.jianshu.com/p/3...
作者小头像 百忍成金的虚竹
1115
0
0
2021-05-27 14:49:30
999+
0
0
Spark_shuffle调优
调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家...
作者小头像 百忍成金的虚竹
1435
0
0
2021-03-26 00:49:01
999+
0
0
Spark_算子调优
算子调优一：mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子，假设一个 partition 有 1 万条数据， 那么 map 算子中的 function 要执行 1 万次， 也就是对每个元素进行操作。 图 2-3 map 算子 imag...
作者小头像 百忍成金的虚竹
1522
0
0
2021-03-25 23:15:17
999+
0
0
启动各大组件命令
启动kafka 192.168.72.101 cd /export/servers/kafka/bin nohup ./kafka-server-start.sh /export/servers/kafka/config/server.properties 2>&1 & ./kafka-topics.sh --zookeeper bigdata:2181 --delete --...
作者小头像 百忍成金的虚竹
1420
0
0
2021-03-26 01:40:01
999+
0
0
Hive优化(二)-map join和join原则
1.map join 大小表时通过使用hint的方式制定join时使用mapjoin MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。 Hive0.7之前，需要使用hint提示 /*+ mapjoin(ta...
作者小头像 百忍成金的虚竹
2773
0
0
2021-03-26 00:58:22
999+
0
0
Hive优化(十六)-使用EXPLAIN（执行计划）
使用EXPLAIN（执行计划） 1）基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 2）案例实操 （1）查看下面这条语句的执行计划 hive (default)> explain select * from course; hive (default)> explain select s_id ,avg(s_...
作者小头像 百忍成金的虚竹
1359
0
0
2021-03-25 23:45:25
999+
0
0
总条数：209
  • 1
  • ...
  • 13
  • 14
  • 15
  • ...
  • 21
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信