Lv.3
从大数据到人工智能
更多个人资料
365
成长值
0
关注
6
粉丝
+ 关注
私信
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
个人勋章
TA还没获得勋章~
成长雷达
330
15
0
0
20
个人资料
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
使用flink插入数据到hudi数据湖初探
环境:hadoop 3.2.0flink 1.11.4-bin-scala_2.11hudi 0.8.0本文基于上述组件版本使用flink插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成,请确保hadoop集群正常启动。确保已经配置环境变量HADOOP_CLASSPATH对于开源版本hadoop,HADOOP_CLASSPATH配置为:export HADOOP_CLASSPAT...
Flink
从大数据到人工智能
2022-03-28 00:29:32
1302
0
0
2022-03-28 00:29:32
999+
0
0
hudi 0.9.0适配hbase 2.2.6
总览在hudi中,hbase可以作为索引数据的存储,hudi默认使用的hbase版本为1.2.3。在hbase从1.x升级到2.x之后,其api发生了较大的变化,直接修改hudi中hbase的版本是不合适的,即会发生编译错误。本文对部分源码进行修改以使hbase 2.2.6适配hudi 0.9.0 编译报错如果我们直接修改hbase的版本为2.2.6的话,会出现如下编译错误:[ERROR]...
HBase
从大数据到人工智能
2022-03-28 00:29:00
2182
0
0
2022-03-28 00:29:00
999+
0
0
spark-shell操作hudi并使用hbase作为索引
前言接上一篇文章,上篇文章说到hudi适配hbase 2.2.6,这篇文章在spark-shell中操作hudi,并使用hbase作为索引。要完成以下实验,请先确保你已经按照文章步骤对hudi进行适配。并且得到了hudi-spark3-bundle_2.12-0.9.0.jar当然,如果你想先做一个实验,那么可以从这里以下链接下载我已经编译好的jar包。hudi-spark3-bundle...
HBase
Shell
spark
从大数据到人工智能
2022-03-28 00:28:25
2184
0
0
2022-03-28 00:28:25
999+
0
0
使用flink SQL Client将mysql数据写入到hudi并同步到hive
测试环境组件版本mysql 5.7hive 3.1.2flink 1.12.2hudi 0.9.0hadoop 3.2.0首先请确保以下组件正常启动:mysqlhivemetastorehiveserver2hdfsyarn hudi适配hive 3.1.2源码编译0.9.0版本的hudi在适配hive3时,其hudi/package/hudi-flink-bundle/pom.xml文件...
Flink
Hive
SQL
从大数据到人工智能
2022-03-28 00:27:02
3201
0
0
2022-03-28 00:27:02
999+
0
0
如何在 SQL 中查找重复值? GROUP BY 和 HAVING 查询示例教程
如果您想知道如何在表中查找重复值,那么您可以在 SQL 中使用 GROUP BY 和 HAVING 子句。 使用 group by 您可以创建组,如果您的组有超过 1 个元素,则意味着它是重复的。 例如,您需要编写一个 SQL 查询来查找名为 Person 的表中的所有重复电子邮件。 这是一个流行的 SQL Query 面试问题以及 Leetcode 问题。 您可以看到电子邮件 a@b.co...
SQL
从大数据到人工智能
2022-03-28 00:24:24
2068
0
0
2022-03-28 00:24:24
999+
0
0
云原生时代的到来,Hive会被替代吗
Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现,当时 Hadoop 是进行大数据分析的新颖且创新的方式。Hive 所做的是为 Hadoop 实现了一个 SQL 接口。 它的架构包括两个主要服务:查询引擎——负责 SQL 语句的执行。一个 Metastore——负责将 HDFS 中的数据集合虚拟化为表。Hadoop 背后的概念是革命性的。 庞大的数据...
Hadoop
Hive
云原生
从大数据到人工智能
2022-03-28 00:23:48
3871
0
0
2022-03-28 00:23:48
999+
0
0
【云驻共创】 深入理解基于华为鲲鹏处理器的极致性能优化
鲲鹏处理器为核心的华为TaiShan服务器在国产服务器中可以说是名列前茅的。不仅仅是其高效的处理性能,还有针对鲲鹏处理器进行深度优化的原生应用以及不断壮大的共建鲲鹏社区。下面以鲲鹏处理器的软硬件性能优化为例,深入理解更为底层的技术方案,给你一个选择它的理由。
MySQL
Nginx
鲲鹏
从大数据到人工智能
2022-03-09 17:02:12
6782
0
0
2022-03-09 17:02:12
999+
0
0
快速安装k3s kubernetes集群
K3s 是 Rancher 发布的经过完全认证的 Kubernetes 发行版。K3s 易于使用且更轻量,全部组件都打包在了一个二进制文件里。并且这个二进制文件小于 100 MB。下面介绍在三台centos7服务器上快速搭建k3s kubernetes集群。 基础环境主机操作系统IPrancher01centos710.0.2.9rancher02centos710.0.2.78ranche...
Kubernetes
从大数据到人工智能
2022-03-09 01:51:44
1582
0
0
2022-03-09 01:51:44
999+
0
0
云原生模式部署Flink应用
入门指南本入门部分将指导您在 Kubernetes 上设置功能齐全的 Flink 集群。 基本介绍Kubernetes 是一种流行的容器编排系统,用于自动化计算机应用程序的部署、扩展和管理。 Flink 的原生 Kubernetes 集成允许您直接在运行的 Kubernetes 集群上部署 Flink。 此外,Flink 能够根据所需资源动态分配和取消分配 TaskManager,因为它可...
Flink
云原生
从大数据到人工智能
2022-03-09 01:51:13
2535
0
0
2022-03-09 01:51:13
999+
0
0
Flink Standalone HA搭建指南
基本环境集群主机IPhost14710.1.0.147host14810.1.0.148host14910.1.0.149配置域名映射vim /etc/hosts10.1.0.147 host14710.1.0.148 host14810.1.0.149 host149下载Flink安装包,将其放到/data目录下,并解压mkdir /data && cd /datawget http://...
Flink
从大数据到人工智能
2022-03-09 01:18:59
1330
0
0
2022-03-09 01:18:59
999+
0
0
总条数:49
10
10
20
50
100
1
2
3
4
5
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信