作者小头像 Lv.3
更多个人资料
375 成长值
0 关注
2 粉丝
+ 关注 私信

个人介绍

大数据与人工智能经验分享

感兴趣或擅长的领域

人工智能、大数据
个人勋章
TA还没获得勋章~
成长雷达
340
15
0
0
20

个人资料

个人介绍

大数据与人工智能经验分享

感兴趣或擅长的领域

人工智能、大数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
Flink Standalone HA搭建指南
基本环境集群主机IPhost14710.1.0.147host14810.1.0.148host14910.1.0.149配置域名映射vim /etc/hosts10.1.0.147 host14710.1.0.148 host14810.1.0.149 host149下载Flink安装包，将其放到/data目录下，并解压mkdir /data && cd /datawget http://...
作者小头像 从大数据到人工智能
499
0
0
2022-03-09 01:18:59
499
0
0
ScreenToGif 快速制作gif图的轻量工具
平常在写一些演示文稿的时候会有把某些操作制作成gif图，以加深阅读者的印象。今天和大家介绍一下一个开源gif图制作软件：ScreenToGif。 安装ScreenToGif可用于屏幕、摄像头以及画板的录制，并且内置编辑器，可以直接对录制的图像进行编辑。目前，ScreenToGif支持arm64以及x86_64架构的windows操作系统，具体安装方式可见：https://www.screen...
作者小头像 从大数据到人工智能
274
0
0
2022-03-08 00:04:06
274
0
0
rpm快速打包工具 --- rpm-package
rpm包作为redhat、centos系列操作系统的包管理工具，让我们可以轻松通过yum install xxx.rpm命令安装某些软件包。本项目介绍文件打包方法，用于将任意文件按照描述文件的组织方式打包成rpm包。 项目地址https://github.com/xiaozhch5/rpm-package 如何使用您可以从源码编译该项目或者从release包中下载！ 源码编译安装编译依赖：j...
作者小头像 从大数据到人工智能
500
0
0
2022-03-03 14:52:26
500
0
0
Flink与Spark读写parquet文件全解析
Parquet介绍Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件（如 CSV 或 TSV 文件）相比，Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。Parquet 使用记录粉碎和组装算...
作者小头像 从大数据到人工智能
823
0
0
2022-01-26 09:50:21
823
0
0
hbase HBCK2使用指南
HBCK2是apache hbase集群修复工具。 HBCK2 与hbck1比较HBCK2 是 hbck 的继承者，hbase-1.x (A.K.A hbck1) 附带的修复工具。 使用 HBCK2 代替 hbck1 对 hbase-2.x 集群进行修复。 hbck1 不应针对 hbase-2.x 安装运行。 它可能会造成伤害。 虽然 hbck1 仍然捆绑在 hbase-2.x 中——为了尽...
作者小头像 从大数据到人工智能
968
2
1
2022-01-25 09:59:05
968
2
1
使用prometheus监控hudi相关指标
前提首先请安装好prometheus、pushgateway以及grafana，如果还没安装请参考：Prometheus与pushGateway安装与使用Grafana安装指南对hudi相关指标进行监控，只需要在将数据写入hudi的时候进行监控配置即可，本文以Flink SQL Client实战CDC数据入湖为例，对其指标进行监控。 基本环境介绍本文使用的prometheus、pushga...
作者小头像 从大数据到人工智能
672
0
0
2022-01-23 13:12:49
672
0
0
Zeppelin结合Flink查询hudi数据
关于ZeppelinZeppelin是基于 Web 的notebook，是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。Zeppelin支持多种语言后端，Apache Zeppelin 解释器允许将任何语言/数据处理后端插入 Zeppelin。 目前 Apache Zeppelin 支持 Apache Spark、Apache Fl...
作者小头像 从大数据到人工智能
717
0
0
2022-01-23 13:11:20
717
0
0
hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译
新增hdp仓库在项目根目录下的pom文件中新增： <repository> <id>hdp</id> <url>https://repo.hortonworks.com/content/repositories/releases/</url> </repository> 其他pom文件修改hive-jdbc依赖的hadoop-yarn-server-reso...
作者小头像 从大数据到人工智能
303
0
0
2022-01-23 13:10:23
303
0
0
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
本文基于Flink SQL与hudi构建准实时数仓，在Flink从kafka接入数据之后，即将所有数据存于hudi中，包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flink1.11的SQL构建实时数仓探索实践 (qq.com)》描述了基于Flink SQL与kafka构建的实时数仓，本文以上述文章为基础。 在完成本文实践的同时可以同步参考上述文章。 最终结果： ...
作者小头像 从大数据到人工智能
657
0
0
2022-01-23 13:08:53
657
0
0
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
在文章Flink Table/SQL自定义Sources和Sinks全解析（附代码）中我们说到在Flink Table/SQL中如何自定义Sources和Sinks，有了上述文章的基础，我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。动态表是自定义sources/sinks的核心，通过查阅源码我们可以知道在flink-hudi子模块中，org.apa...
作者小头像 从大数据到人工智能
748
0
1
2022-01-22 16:09:00
748
0
1
总条数：50
  • 1
  • 2
  • 3
  • 4
  • 5
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信