作者小头像 Lv.2
更多个人资料
93 成长值
1 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
90
3
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
华为云MRS Spark基于华为云对象存储服务(OBS)的Hadoop文件系统快速删除指南
• 配置快速删除在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml添加下列属性：fs.obs.trash.enable为true；fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。例如：<property>    ...
Hadoop 对象存储服务 OBS
作者小头像 yugogo 2023-07-15 17:24:45
8199
0
0
2023-07-15 17:24:45
999+
0
0
华为云MRS Python3使用pyhive连接安全集群Hive
华为云MRS Python3使用pyhive连接安全集群Hive
Hive Python
作者小头像 yugogo 2022-07-14 09:37:18
10685
0
1
2022-07-14 09:37:18
999+
0
1
华为云MRS MRS_3.1.0集群Spark&Hudi客户端融合指导书
1 替换hudi-archive.zip包下parquet相关jar包：parquet-column-1.12.0-hw-ei-1.0.jarparquet-common-1.12.0-hw-ei-1.0.jarparquet-encoding-1.12.0-hw-ei-1.0.jarparquet-format-structures-1.12.0-hw-ei-1.0.jarparquet-...
MapReduce spark
作者小头像 yugogo 2022-05-09 10:45:01
6615
0
0
2022-05-09 10:45:01
999+
0
0
MRS 集群 Manager 页面使用域名访问HUE
MRS 集群 Manager 页面使用域名访问HUE    1 前置条件1.1 MRS集群已开通1.2 集群绑定有EIP，或者有专线可以与集群互通1.3 部署有Nginx，DNS1.4 有一个域名，或者配置内网域名2 集群HUE组件需要添加代理服务器ip主备hue所在节点：修改文件：/opt/Bigdata/FusionInsight_Porter_8.1.0.1/install/Fusio...
MapReduce 域名注册服务 Domains
作者小头像 yugogo 2022-05-05 21:15:17
6290
0
0
2022-05-05 21:15:17
999+
0
0
MRS华为云 pysparkSession初始化问题解决方案
Python模型在Spark2.4.5推理失败，报py4j.protocol.Py4JJavaError: An error occurred while calling o602.load.: java.util.NoSuchElementException: None.get
作者小头像 yugogo 2022-01-22 10:40:43
7576
0
0
2022-01-22 10:40:43
999+
0
0
华为云MRS Python连接obs样例
pydoop
Hadoop Python 对象存储服务 OBS
作者小头像 yugogo 2021-12-29 10:23:33
7735
0
0
2021-12-29 10:23:33
999+
0
0
华为云MRS gohive适配MRS安全集群
修改gohive/hive.go文件位置：将 transport, err = NewTSaslTransport(socket, host, "GSSAPI", saslConfiguration)中host参数修改为kerberos服务的host，默认hadoop.hadoop.com，可以再hive_site.xml里面查看修改后transport, err = NewTSaslTra...
作者小头像 yugogo 2021-12-24 10:57:31
5786
0
0
2021-12-24 10:57:31
999+
0
0
华为云MRS DGC上执行MRS Hive任务如何查询详细日志
1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId...
Hive MapReduce 数据治理中心 DataArts Studio
作者小头像 yugogo 2021-12-24 10:56:53
14336
0
1
2021-12-24 10:56:53
999+
0
1
华为云MRS go连接MRS安全集群HDFS
使用https://github.com/colinmarc/hdfs/库，代码见附件前提需要安装MRS客户端代码会读取环境变量中的HADOOP_HOME下的配置，所以需要先source bigdata_envkerberos认证用的是cache文件，所以需要执行kinit生成krb5，cache文件执行上面两步骤后，执行附件代码（先导入依赖）
Golang Hadoop MapReduce
作者小头像 yugogo 2021-12-24 10:56:16
6562
0
0
2021-12-24 10:56:16
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注