Lv.1
不温卜火
更多个人资料
29
成长值
1
关注
9
粉丝
+ 关注
私信
个人介绍
我是不温卜火
感兴趣或擅长的领域
大数据、编程语言、云计算
个人勋章
TA还没获得勋章~
成长雷达
0
9
0
0
20
个人资料
个人介绍
我是不温卜火
感兴趣或擅长的领域
大数据、编程语言、云计算
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
数据清洗 Chapter04 | 数据整合
这篇文章讲述的是数据整合。希望这篇数据清洗的文章对您有所帮助!如果您有想学习的知识或建议,可以给作者留言~ Chapter04 | 数据整合 一、数据库风格的DataFrame合并二、索引上的合并三、轴向连接12 一、数据库风格的DataFrame合并 使用Pandas库中的merge()函数合并数据集 1、建立两个数据集df1和d...
数据库
不温卜火
2021-05-28 01:53:58
2397
0
0
2021-05-28 01:53:58
999+
0
0
HDFS系列(2) | HDFS优缺点分析
因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。 目录 一. HDFS的优点1. 高容错性2. 适合处理大数据3. 实用性强 二. HDFS的缺点1. 不适合低延时数据访问2. 无法高效的对大量小文件进行存储3. 不支持并发写入、文件...
Hadoop
不温卜火
2021-05-28 01:48:14
3304
0
0
2021-05-28 01:48:14
999+
0
0
HDFS系列(3) | HDFS的Shell常用命令大全
此次更新的的博文是关于HDFS的shell的常用命令,希望大家能够喜欢 目录 一. 基本语法二. 命令大全三. 常用命令实操1. 常用命令及其作用对比表2. 常用命令的实际操作 一. 基本语法 bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。 二. 命令大全 在虚拟机内输入:bin/hd...
Hadoop
Shell
不温卜火
2021-05-28 01:48:02
7723
0
0
2021-05-28 01:48:02
999+
0
0
HDFS系列(4) | HDFS文件读写流程
本片博文,博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析: 1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传; 2、 client请...
Hadoop
不温卜火
2021-05-28 01:46:50
2546
0
0
2021-05-28 01:46:50
999+
0
0
HDFS系列(6) | HDFS的java API操作
在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客,博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传...
API
Hadoop
Java
不温卜火
2021-05-28 01:44:42
4271
0
0
2021-05-28 01:44:42
999+
0
0
HDFS系列(7) | HDFS的 I/O流 API操作
上一篇博文我们分享的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢? 此次物品们介绍的是采用I/O流的方式实现数据的上传和下载。 目录 一. HDFS文件上传二. HDFS文件下载三. 定位文件读取 一. HDFS文件上传 需求:把本地d盘上的lisen.txt文件上传到HDFS根目录 1....
API
Hadoop
不温卜火
2021-05-28 01:42:19
4251
0
0
2021-05-28 01:42:19
999+
0
0
MapReduce快速入门系列(1) | 什么是MapReduce
随着HDFS系列的完结,下面就到了MapReduce系列了,很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理:分而治之2. 构建抽象模型:Map和Reduce3. 统一构架,隐藏系统层细节 1....
MapReduce
大数据
不温卜火
2021-05-28 01:40:08
4173
0
0
2021-05-28 01:40:08
999+
0
0
MapReduce快速入门系列(5) | MapReduce任务流程和shuffle机制的简单解析
Hello,大家好,在本系列的第一篇博文中,博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu...
MapReduce
不温卜火
2021-05-28 01:32:31
2847
0
0
2021-05-28 01:32:31
999+
0
0
MapReduce快速入门系列(9) | Shuffle之Combiner合并
Hello,大家好!博主上篇讲解了分区,这篇要讲的是合并操作。如何讲解这个章节呢?首先先对什么是合并进行解释,然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代码实现3.1 编写Mapper类3.2 编写Reducer类3.3 编写Driver驱动类 四. 对比及结论 ...
MapReduce
网络
不温卜火
2021-05-28 01:22:39
3318
0
0
2021-05-28 01:22:39
999+
0
0
MapReduce快速入门系列(10) | 二次排序和辅助排序案例(GroupingComparator分组)
Hello,大家好!博主上篇讲解了合并,这篇要讲的是辅助排序。如何讲解这个章节呢?首先先对什么是合并进行解释,然后通过案例进行证明。 目录 一. GroupingComparator分组的简介二. 根据案例分析2.1 需求2.2 需求分析2.3 代码实现1. 定义订单信息OrderBean类2. 编写OrderSortMapper类3. 编写Orde...
MapReduce
不温卜火
2021-05-28 01:19:28
4591
0
0
2021-05-28 01:19:28
999+
0
0
总条数:198
10
10
20
50
100
1
2
3
4
5
6
...
20
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信