作者小头像 Lv.2
更多个人资料
138 成长值
2 关注
3 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能、大数据、自动化运维、数据库、编程语言
个人勋章
TA还没获得勋章~
成长雷达
135
3
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能、大数据、自动化运维、数据库、编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
【技术分享】Apache Avro数据的序列化、反序列&&FlinkSQL解析Avro数据
技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方...
作者小头像 南派三叔
1305
0
0
2021-12-30 16:40:49
999+
0
0
【生态对接】Tableau工具对接HetuEngine
1      适用版本MRS 811、MRS 8122      预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr...
作者小头像 南派三叔
809
0
0
2021-12-28 17:02:34
809
0
0
【技术分享】FlinkSQL消费Kafka写Redis
前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"...
作者小头像 南派三叔
1127
0
0
2021-09-30 17:08:54
999+
0
0
【技术分享】FlinkSQL消费kafka数据写入Redis
前提条件MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据{"account": "A6","costs":"35"}{"account": "A7","costs":"36"}{"acco...
作者小头像 南派三叔
485
0
0
2021-09-30 16:41:07
485
0
0
[技术干货-最佳实践] Elasticsearch同义词插件安装与功能验证
获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi...
作者小头像 南派三叔
1121
0
0
2021-09-30 14:38:00
999+
0
0
通过WebChat访问Hive元数据
WebHcat样例代码Hive提供了WebHcat接口。该文档利用java把该接口进行了封装，可以使用java代码访问Hive。代码中只封装了一些常用接口，对于没有其他的接口，可以参考封装好的代码自行进行封装。1.1      主要难点：因hive的webHcat接口未提供认证接口，我们这边只能借助spnego的方式来进行kerberos认证。首先，先进行kerberos认证。认证完成后，获...
作者小头像 南派三叔
1274
0
0
2021-08-26 18:56:42
999+
0
0
【案例分享】Kafka异常分区修复典型场景
【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
作者小头像 南派三叔
3492
0
0
2021-07-23 16:01:55
999+
0
0
【技术干货】Hive分区分桶样例
 1 Hive分区分桶1.1 分区分区概念在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。分为静态分区和动态分区两种，静态分区与动态分区的主要区别在于静...
作者小头像 南派三叔
1930
0
0
2021-06-26 18:27:10
999+
0
0
【案例分享】MapReduce Service OMS频繁主备倒换manager界面异常
【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/...
作者小头像 南派三叔
1532
0
0
2021-06-26 17:17:05
999+
0
0
MapReduce Service转售版本学习材料
项目学习内容学习目标视频学习地址学习材料MRS 产品架构FusionInsight MRS 融合大数据和湖仓一体议题解决方案了解大数据发展的历程，深入剖析大数据发展趋势https://bbs.huaweicloud.com/videos/103242《FusionInsight MRS ESL 3.0.2基线方案-融合大数据平台 v1.0》《FusionInsight MRS ESL 3.0...
作者小头像 南派三叔
1811
0
0
2021-06-24 19:41:06
999+
0
0
总条数：12
  • 1
  • 2
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信