Lv.3
从大数据到人工智能
更多个人资料
365
成长值
0
关注
6
粉丝
+ 关注
私信
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
个人勋章
TA还没获得勋章~
成长雷达
330
15
0
0
20
个人资料
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
ScreenToGif 快速制作gif图的轻量工具
平常在写一些演示文稿的时候会有把某些操作制作成gif图,以加深阅读者的印象。今天和大家介绍一下一个开源gif图制作软件:ScreenToGif。 安装ScreenToGif可用于屏幕、摄像头以及画板的录制,并且内置编辑器,可以直接对录制的图像进行编辑。目前,ScreenToGif支持arm64以及x86_64架构的windows操作系统,具体安装方式可见:https://www.screen...
从大数据到人工智能
2022-03-08 00:04:06
938
0
0
2022-03-08 00:04:06
938
0
0
rpm快速打包工具 --- rpm-package
rpm包作为redhat、centos系列操作系统的包管理工具,让我们可以轻松通过yum install xxx.rpm命令安装某些软件包。本项目介绍文件打包方法,用于将任意文件按照描述文件的组织方式打包成rpm包。 项目地址https://github.com/xiaozhch5/rpm-package 如何使用您可以从源码编译该项目或者从release包中下载! 源码编译安装编译依赖:j...
Linux
从大数据到人工智能
2022-03-03 14:52:26
1138
0
0
2022-03-03 14:52:26
999+
0
0
Flink与Spark读写parquet文件全解析
Parquet介绍Parquet 是一种开源文件格式,用于处理扁平列式存储数据格式,可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件(如 CSV 或 TSV 文件)相比,Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。Parquet 使用记录粉碎和组装算...
Flink
spark
从大数据到人工智能
2022-01-26 09:50:21
4357
0
0
2022-01-26 09:50:21
999+
0
0
hbase HBCK2使用指南
HBCK2是apache hbase集群修复工具。 HBCK2 与hbck1比较HBCK2 是 hbck 的继承者,hbase-1.x (A.K.A hbck1) 附带的修复工具。 使用 HBCK2 代替 hbck1 对 hbase-2.x 集群进行修复。 hbck1 不应针对 hbase-2.x 安装运行。 它可能会造成伤害。 虽然 hbck1 仍然捆绑在 hbase-2.x 中——为了尽...
Hadoop
HBase
从大数据到人工智能
2022-01-25 09:59:05
4846
2
1
2022-01-25 09:59:05
999+
2
1
使用prometheus监控hudi相关指标
前提首先请安装好prometheus、pushgateway以及grafana,如果还没安装请参考:Prometheus与pushGateway安装与使用Grafana安装指南对hudi相关指标进行监控,只需要在将数据写入hudi的时候进行监控配置即可,本文以Flink SQL Client实战CDC数据入湖为例,对其指标进行监控。 基本环境介绍本文使用的prometheus、pushga...
Flink
从大数据到人工智能
2022-01-23 13:12:49
4107
0
0
2022-01-23 13:12:49
999+
0
0
Zeppelin结合Flink查询hudi数据
关于ZeppelinZeppelin是基于 Web 的notebook,是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。Zeppelin支持多种语言后端,Apache Zeppelin 解释器允许将任何语言/数据处理后端插入 Zeppelin。 目前 Apache Zeppelin 支持 Apache Spark、Apache Fl...
Flink
SQL
从大数据到人工智能
2022-01-23 13:11:20
1395
0
0
2022-01-23 13:11:20
999+
0
0
hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译
新增hdp仓库在项目根目录下的pom文件中新增: <repository> <id>hdp</id> <url>https://repo.hortonworks.com/content/repositories/releases/</url> </repository> 其他pom文件修改hive-jdbc依赖的hadoop-yarn-server-reso...
从大数据到人工智能
2022-01-23 13:10:23
939
0
0
2022-01-23 13:10:23
939
0
0
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
本文基于Flink SQL与hudi构建准实时数仓,在Flink从kafka接入数据之后,即将所有数据存于hudi中,包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flink1.11的SQL构建实时数仓探索实践 (qq.com)》描述了基于Flink SQL与kafka构建的实时数仓,本文以上述文章为基础。 在完成本文实践的同时可以同步参考上述文章。 最终结果: ...
Flink
从大数据到人工智能
2022-01-23 13:08:53
1365
0
0
2022-01-23 13:08:53
999+
0
0
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
在文章Flink Table/SQL自定义Sources和Sinks全解析(附代码)中我们说到在Flink Table/SQL中如何自定义Sources和Sinks,有了上述文章的基础,我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。动态表是自定义sources/sinks的核心,通过查阅源码我们可以知道在flink-hudi子模块中,org.apa...
Flink
SQL
从大数据到人工智能
2022-01-22 16:09:00
1880
0
1
2022-01-22 16:09:00
999+
0
1
Flink Table/SQL自定义Sources和Sinks全解析(附代码)
动态表是Flink Table和SQL API处理有界和无界数据的核心概念。在Flink中,动态表只是逻辑概念,其本身并不存储数据,而是将表的具体数据存储在外部系统(比如说数据库、键值对存储系统、消息队列)或者文件中。动态源和动态写可以从外部系统读写数据。在下面的描述中,动态源和动态写可以归结为connector。接下来我们来看看如何自定义connector。代码地址:https://git...
Flink
SQL
从大数据到人工智能
2022-01-21 02:08:46
4277
0
1
2022-01-21 02:08:46
999+
0
1
总条数:49
10
10
20
50
100
1
2
3
4
5
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信