云社区 mrs
# mrs #
hdfs->obs翻译使用
通过HDFS地址映射到OBS地址的方式，支持将HDFS中的数据迁移到OBS后，不需要变动业务逻辑中的数据地址，即可完成数据访问。 例如将HDFS文件系统的数据迁移到OBS服务中，通过使用HDFS地址映射功能简单配置即可实现客户端无需修改自己的的业务代码逻辑的情况下，访问存储到OBS的数据。或将元数据信息从HDFS文件系统部分迁移到OBS服务中，通过使用HDFS地址映射功能简单配置即可实现既能访问
作者小头像 不期而至的美好
3544
0
0
Kerberos集群启动Phoenix QueryServer
在MRS安全集群中，使用Phoenix时如何开启QueryServer会有鉴权问题，本文会基于apache-phoenix-5.0.0-HBase-2.0版本，指导如何正常启动QueryServer服务。1.首先安装Phoenix至指定目录下，可以参考https://support.huaweicloud.com/devg-mrs/mrs_06_0041.html安装Phoenix。2.进入...
作者小头像 千载不变
8068
0
0
如何在MRS服务中编译和使用LZO压缩算法
LZO是一种非常高效的压缩算法，相比其它Hadoop支持的压缩算法，它提供极高的解压缩速度，且解压缩速度不受压缩比影响，对压缩包制作索引以后支持文件分片操作，非常适合用于hadoop的分布式处理场景。但由于其开源License问题，MRS和开源Hadoop一样，并没有默认集成hadoop-lzo。下面，我给大家分享一下如何手动编译hadoop-lzo并配置到在Hive服务中。一. 环境准备准...
作者小头像 司靖
8382
1
2
只需一步，轻松创建大数据集群
本文为您介绍如何通过快速购买的方式，创建自己专属的大数据集群。
作者小头像 寒月点点
6615
0
0
Presto 开发UDF
Presto 开发UDF：在MRS集群上以插件形式添加自定义函数
作者小头像 星星de童话
9160
0
0
MRS集群V2接口提交作业FAQ
MRS集群V2接口提交作FAQ概述 本文主要介绍MRS集群v2提交作业接口的相关内容。MRS集群1.8.x系列版本在1.8.7版本及之后，2.x系列版本在2.0.3版本及之后，1.9.x版本都支持通过V2接口向kerberos开启/普通集群提交作业。目前主要支持以下几种作业类型，分别为Mapreduce, Distcp,Spa...
作者小头像 星星点灯
10401
0
0
启用LVM特性的MRS Kafka集群磁盘在线扩容，业务不中断
MRS 1.8.5及以后的版本，都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容，保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ...
作者小头像 司靖
7406
0
0
yarn资源分配常见问题解析
yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态；
作者小头像 泽及天下不为仁
12424
1
1
rpm 包， jar 包的查看与解压
本文介绍 rpm 包，jar 包，tar 包 查看、解压方式， 可以在不解压压缩包的情况下，查看压缩包内的内容
作者小头像 老板上茶
9843
0
1
Hadoop 文件系统操作
本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。
作者小头像 老板上茶
8466
0
0
总条数：21
到第页
热门标签