Lv.3
FI小粉丝
更多个人资料
355
成长值
2
关注
12
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
355
0
0
0
0
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
HBase HBCK检查结果中表tableinfo和regioninfo同时丢失恢复方案
问题背景与现象hbase hbck检查结果一张表tableinfo和regioninfo同时丢失,使用-repair命令修复失败。ERROR: Orphan region in HDFS: Unable to load .regioninfo from table hbck_test in hdfs dir hdfs://hacluster/hbase/data/default/hbck_t...
EI企业智能
FusionInsight
HBase
FI小粉丝
2021-10-27 17:26:18
5473
0
0
2021-10-27 17:26:18
999+
0
0
Flink对接HBase常见问题
1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现,任务运行一段时间后持续打印以下日志:RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新,导致HBase一直...
EI企业智能
Flink
FusionInsight
HBase
FI小粉丝
2021-09-29 14:59:45
2669
0
0
2021-09-29 14:59:45
999+
0
0
Flink对接ES常见问题
1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败,而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同,在运行一段时间后,票据信息会超时需要重新认证,此时ES中缓存的票据信息没有更新,导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
EI企业智能
Elasticsearch
Flink
FusionInsight
FI小粉丝
2021-09-29 14:57:45
2670
0
0
2021-09-29 14:57:45
999+
0
0
Flink如何加载其他目录的jar包
问题描述Flink业务一般在运行过程中默认加载的jar包路径为:xxx/Flink/flink/lib的目录下,如果添加其它路径的jar包会报错,如何添加其它外部依赖解决方案创建一个外部的lib目录,将部分依赖包放到外部lib目录下,如下图: 2. 修改启动脚本的参数配置脚本,sh将jar包路径传给环境变量中 3. 此时正常启动任务即可, 不需要加-C参数 HDFS上也能看到第三...
EI企业智能
Flink
FusionInsight
JAR
FI小粉丝
2021-08-28 16:29:45
5737
0
1
2021-08-28 16:29:45
999+
0
1
Flink对接Kafka常见问题与解决方案
1.Flink对接kafka出现数据倾斜问题现象使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中,其它的分区没有数据写入。可能原因1:Flink写kafka使用的机制与原生接口的写入方式是有差别的,在默认情况下,Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景: 1. 并行度%分区数量=0,表示并行度是kafk...
EI企业智能
Flink
FusionInsight
Kafka
FI小粉丝
2021-08-28 16:26:13
6019
0
0
2021-08-28 16:26:13
999+
0
0
Flink架构与基本原理
1.Flink架构(图-1 Flink Runtime 来自:https://ci.apache.org/projects/flink/flink-docs-release-1.6/concepts/runtime.html)2.基本原理2.1 JobmanagerJobManager(下称为JM)负责整个Flink集群任务的调度以及资源的管理,从客户端中获取提交的应用,然后根据集群中的ta...
EI企业智能
Flink
FusionInsight
FI小粉丝
2021-08-28 16:04:12
2675
0
0
2021-08-28 16:04:12
999+
0
0
Mapreduce任务Map阶段运行进程说明
最近经常有人问到,map阶段container运行时怎么找到具体Task运行的JVM进程1.首先在任务页面点击map,点击log,可以找到对应的containerID2.在map界面,找到container运行的主机节点3.去相应的节点执行ps -ef|grep container_e02_1568949488640_0036_01_000002可以看出,结果有三个进程,那么哪个是对应执行t...
EI企业智能
FusionInsight
MapReduce
Yarn
任务调度
FI小粉丝
2021-08-28 15:50:45
3905
0
0
2021-08-28 15:50:45
999+
0
0
HBase目录在HDFS上被删除后,表异常的处理方法
首先本篇不是讲数据被删除后如何恢复,而是讲表目录被删除,而表异常的处理方法误操作:删除hbase表,有的人不按照正常的处理方式(在hbase shell 先disable 再drop),而是直接在hbase目录下删除表目录的错误做法此种做法导致,shell中list能查到此表,实际上scan会报错,并且重启hbase后会导致region无法上线处理步骤:1.在任意RegionServer的目...
EI企业智能
FusionInsight
Hadoop
HBase
FI小粉丝
2021-08-28 15:47:25
4663
0
0
2021-08-28 15:47:25
999+
0
0
HBase Client操作超时参数解析
Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制,对每一个操作,若由于超时或其他原因导致rpc请求失败,会进行重试(由参数hbase.client.retries.number控制),直到重试成功或达到最大重试次数后抛出RetriesExhaustedException,但如果在重试之前,阻塞的总时...
EI企业智能
FusionInsight
HBase
RPC
FI小粉丝
2021-07-28 18:10:48
5957
0
0
2021-07-28 18:10:48
999+
0
0
【转】什么是MRS?
大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部...
EI企业智能
FusionInsight
FI小粉丝
2021-06-24 16:24:57
5764
0
0
2021-06-24 16:24:57
999+
0
0
总条数:35
10
10
20
50
100
1
2
3
4
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信