Lv.3
从大数据到人工智能
更多个人资料
365
成长值
0
关注
6
粉丝
+ 关注
私信
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
个人勋章
TA还没获得勋章~
成长雷达
330
15
0
0
20
个人资料
个人介绍
大数据与人工智能经验分享
感兴趣或擅长的领域
人工智能、大数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
jcommander使用指南
总览在Java中经常会遇到需要输入参数的情况,JCommander 是一个非常小的 Java 框架,可以轻松解析命令行参数。 下文完整解析JCommander的用法。例如您可以使用选项描述注释字段:import com.beust.jcommander.Parameter;public class Args { @Parameter private List<String> param...
从大数据到人工智能
2022-03-28 00:41:13
4905
0
0
2022-03-28 00:41:13
999+
0
0
Flink和Spark读写avro文件
前面文章基于Java实现Avro文件读写功能我们说到如何使用java读写avro文件,本文基于上述文章进行扩展,展示flink和spark如何读取avro文件。 Flink读写avro文件flink支持avro文件格式,内置如下依赖:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artif...
Flink
spark
从大数据到人工智能
2022-03-28 00:39:33
3086
0
0
2022-03-28 00:39:33
999+
0
0
docker 容器开启ssh服务
使用docker启动centos7docker run -itd --privileged=true --name=ssh -p 2022:22 centos:centos7 bash进入容器安装openssh-serverdocker exec -it ssh bashyum install openssh-server生成密钥ssh-keygen -q -t rsa -b 2048 -f...
Docker
ssh
从大数据到人工智能
2022-03-28 00:37:46
3409
0
0
2022-03-28 00:37:46
999+
0
0
linux系统下排除网络故障必须掌握的命令行工具
接口信息当您需要了解有关您登录的设备的网络接口的更多信息时使用接口信息命令。 IP查看所有 IP 地址:ip a可以使用-4或-6选项添加过滤器以仅显示 IPv4 或 IPv6 地址。ip -4 aip -6 a查看网络信息的另一种方法是使用ifconfig,它比ip命令更容易阅读,显示的信息量没有太大差异,一个显着的区别是ifconfig显示一些基本的传输/接收统计信息,这些统计信息可能...
Linux
网络
从大数据到人工智能
2022-03-28 00:36:53
1000
0
0
2022-03-28 00:36:53
999+
0
0
linux常用命令指南
常用系统工作命令 echoecho 命令用于在终端输出字符串或变量提取后的值,格式为“echo [字符串 | $变量]” datedate 命令用于显示及设置系统的时间或日期,格式为“date [选项] [+指定的格式]”。 reboot重启 poweroff关机 wgetwget 命令用于在终端中下载网络文件,格式为“wget [参数] 下载地址”。 psps 命令用于查看系统中的进程状...
Linux
从大数据到人工智能
2022-03-28 00:36:22
810
0
0
2022-03-28 00:36:22
810
0
0
如何在 SQL 中使用 LEFT、RIGHT、INNER、OUTER、FULL 和 SELF JOIN?
什么是JOIN,为什么需要它们?在进行复杂的分析处理和数据发现时,一个表的数据通常不足以提供重要的见解,因此需要合并多个表。 SQL,作为与关系数据库通信的一种方法,允许您在表之间创建关系.本文介绍如何使用 SQL 来连接表。 SQL JOIN 的类型左连接、内连接、完全连接、自连接和交叉连接是其他五种主要连接类型。 为了与数据库连接,我们必须在语句中显式或隐式地提供连接类型。这是通过使用...
SQL
从大数据到人工智能
2022-03-28 00:35:40
814
0
0
2022-03-28 00:35:40
814
0
0
windows 11系统调试hive metastore 3.1.2源码新姿势
由于工作原因,需要深入了解一下hive metastore相关源码,这几天尝试了在windows中运行hive metastore代码,这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题hive在3.0之后,独立提供hive metastore服务,我们可以直接下载hive standalone metastore相关源码即可,这边以3.1.2版本为例:源码下载:wget h...
Hive
Windows
从大数据到人工智能
2022-03-28 00:34:33
2901
0
0
2022-03-28 00:34:33
999+
0
0
分布式minio搭建指南
分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。 分布式Minio有什么好处? 在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。 数据保护 分布式Minio采用 纠删码来防范多个节点宕机和位衰减...
分布式
从大数据到人工智能
2022-03-28 00:32:52
1911
0
0
2022-03-28 00:32:52
999+
0
0
flink写入数据到hudi的四种方式
总览 bulk_insert用于快速导入快照数据到hudi。 基本特性bulk_insert可以减少数据序列化以及合并操作,于此同时,该数据写入方式会跳过数据去重,所以用户需要保证数据的唯一性。bulk_insert在批量写入模式中是更加有效率的。默认情况下,批量执行模式按照分区路径对输入记录进行排序,并将这些记录写入Hudi,该方式可以避免频繁切换文件句柄导致的写性能下降。bulk_in...
Flink
从大数据到人工智能
2022-03-28 00:30:39
3207
0
0
2022-03-28 00:30:39
999+
0
0
使用spark3操作hudi数据湖初探
环境:hadoop 3.2.0spark 3.0.3-bin-hadoop3.2hudi 0.8.0本文基于上述组件版本使用spark插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成,请确保hadoop集群正常启动。确保已经配置环境变量HADOOP_CLASSPATH对于开源版本hadoop,HADOOP_CLASSPATH配置为:export HADOOP_CLASSPATH=...
spark
从大数据到人工智能
2022-03-28 00:30:01
2975
0
0
2022-03-28 00:30:01
999+
0
0
总条数:49
10
10
20
50
100
1
2
3
4
5
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信