作者小头像 Lv.1
更多个人资料
23 成长值
0 关注
0 粉丝
+ 关注

个人介绍

本人从大学便学习大数据，在大学就在考取华为大数据HCIE证书，深刻理解大数据Hadoop平台及其相应组件的工作流程（如HDFS，Spark，MapReduce，HBASE等），也了解相应的数据挖掘技术（如K中心点，K均值，SVM算法等），同时还深入了解了华为Libra数据库

感兴趣或擅长的领域

大数据、编程语言、数据库
个人勋章
TA还没获得勋章~
成长雷达
0
3
0
0
20

个人资料

个人介绍

本人从大学便学习大数据，在大学就在考取华为大数据HCIE证书，深刻理解大数据Hadoop平台及其相应组件的工作流程（如HDFS，Spark，MapReduce，HBASE等），也了解相应的数据挖掘技术（如K中心点，K均值，SVM算法等），同时还深入了解了华为Libra数据库

感兴趣或擅长的领域

大数据、编程语言、数据库

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
flume常面对的两种场景
场景一某平台服务器不定期产生新日志文件，flume实时传输新文件到分布式存储服务器HDFSflume配置文件：#定义三大组件的名称agent1.sources = s1agent1.sinks = k1agent1.channels = c1# 配置source组件，spooldir用于监控文件目录agent1.sources.s1.type = spooldiragent1.sources...
其他
作者小头像 have mi 2018-12-18 19:36:45
2885
0
0
2018-12-18 19:36:45
999+
0
0
Hadoop常用命令介绍
常用命令- help功能:输出这个命令参数手册- ls功能:显示目录信息示例:hadoop fs -ls hdfs://hadoop-hello/备注:这些参数中,所有的hdfs路径都可以简写–>hadoop fs -ls /等同于上一条命令效果- mkdir功能:在hdfs上常见目录示例:hadoop fs -mkdir -p /aa/bb/cc- moveFromLocal功能:从本地剪...
Hadoop
作者小头像 have mi 2018-12-18 16:44:04
2940
0
0
2018-12-18 16:44:04
999+
0
0
Spark资源调度和任务调度过程
一、前述Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。自愿申请的话，本文分粗粒度和细粒度模式分别介绍。二、具体Spark资源调度流程图：Spark资源调度和任务调度的流程：1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。2、当Spark提交一个Application后，根据RDD之间的依...
任务调度 spark
作者小头像 have mi 2018-12-18 14:45:31
3422
0
0
2018-12-18 14:45:31
999+
0
0
HDFS的架构及写入流程。
HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1架构图(1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问",NameNode会将数据的存储信息返回给用户. (2) NameNode :保存HDFS...
缓存 Hadoop 存储
作者小头像 have mi 2018-12-18 12:33:35
6055
0
0
2018-12-18 12:33:35
999+
0
0
Hadoop多表关联
输入文件address.txt factory.txt:1 Beijing Beijing Red Star 12 Guangzhou Shenzhen Thunder 33 Shenzhen Guangzhou Honda 24 Xian Beijing Rising 1 ...
Hadoop
作者小头像 have mi 2018-12-18 09:47:19
3679
0
0
2018-12-18 09:47:19
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注