云社区 Hadoop
# Hadoop #
大规模数据处理指南
随着数据量的不断增长，大规模数据处理变得越来越重要。在这个领域，Hadoop和Spark是两个备受关注的技术。本文将介绍如何利用Python编程语言结合Hadoop和Spark来进行大规模数据处理，并比较它们在不同方面的优劣。 简介 HadoopHadoop是一个开源的分布式数据处理框架，它基于MapReduce编程模型，可以处理大规模数据集。Hadoop包括HDFS（分布式文件系统）和Ma...
作者小头像 柠檬味拥抱
34
0
0
HDFS常用命令总结
HDFS常用命令总结
作者小头像 云叔记
266
0
0
【快捷部署】021_Hadoop（3.3.2）
快捷部署第021期，Ubuntu 20.04下部署Hadoop（3.3.2）
作者小头像 云叔记
280
0
0
大数据技术学习——Hadoop即席查询引擎
Hadoop即席查询引擎是构筑在Hive之上的，提供快速SQL查询接口的OLAP引擎。
作者小头像 Eric Shi
967
0
0
GaussDB (DWS)的SQL ON ANYWHERE技术解密
GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通...
作者小头像 tooooooooooomy
1872
0
0
Hive 取两个字符串的相同部分
Hive 取两个字符串的相同部分在数据处理中，有时候我们需要比较两个字符串并找出它们之间的相同部分。在Hive中，我们可以使用一些内置函数来实现这一目的。本篇文章将介绍如何在Hive中取两个字符串的相同部分。1. 使用内置函数regexp_extract结合正则表达式实现可以通过regexp_extract函数结合正则表达式来提取两个字符串的相同部分。以下是一个示例：sqlCopy code...
作者小头像 皮牙子抓饭
1767
0
0
k8s搭建hadoop
k8s搭建Hadoop在大数据处理领域，Hadoop是一个被广泛使用的开源分布式存储和计算框架。而Kubernetes（k8s）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。本篇技术博客将介绍如何使用Kubernetes搭建Hadoop集群，实现分布式的大数据处理。步骤一：创建Kubernetes集群首先，我们需要搭建一个Kubernetes集群。可以使用Minikube来在本地快...
作者小头像 皮牙子抓饭
1826
0
0
hadoop 详解 mr过程
Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函...
作者小头像 皮牙子抓饭
1782
0
0
hadoop data目录
Hadoop Data目录在Hadoop分布式存储系统中，Data目录是非常重要的一个目录，用于存储HDFS（Hadoop Distributed File System）的数据块。在Hadoop集群中，每个数据节点都会有一个Data目录，用来存储该节点上的数据块。本篇博客将详细介绍Hadoop Data目录的相关内容。1. Data目录位置通常情况下，Hadoop Data目录的位置位于H...
作者小头像 皮牙子抓饭
1846
0
0
大数据技术之Hadoop环境搭建
在已经把jdk1.8和hadoop2.8.2上传到虚拟机之后，是压缩包，不能直接使用；1． 安装jdk，安装的时候要解压2． 配置JAVA_HOME进入到profile文件，可以使用向下箭头到末尾，在unset之前插入下面两行代码，或者使用“shift+G”到最后。使用java -version查看jdk版本号3． 解压hadoop，并查看hadoop目录4. 配置hadoop下的JAVA_...
作者小头像 tea_year
1454
0
0
总条数：656
到第页
热门标签