Lv.4
Maynor学长
更多个人资料
805
成长值
2
关注
4
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
大数据、云存储、数据库
个人勋章
TA还没获得勋章~
成长雷达
770
15
0
0
20
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
大数据、云存储、数据库
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
实时即未来,大数据项目车联网之实时ETL开发的核心逻辑
theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第6天,点击查看活动详情 1 实时ETL开发的核心逻辑 1 自定义方法解析json数据读取kafka数据后,对原始数据解析,筛选出解析成功的数据,并把数据转换对象,便于后续逻辑操作。自定义解析json数据为对象://TODO 7)将json字符串解析成对象SingleOutputStr...
Hadoop
弹性文件服务 SFS
Maynor学长
2022-10-20 14:19:24
2934
0
0
2022-10-20 14:19:24
999+
0
0
实时即未来,大数据项目车联网之实时ETL任务消费数据
1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境,设置检查点、kafka分区发现、任务重启策略,数据积压根据kafka属性配置创建FlinkKafkaConsumer,消费kafka数据根据kafka数据获得DataStream,进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据,称为正确数据u 原始文本为一行可成功解析的json格式数据,且数据中存在不可或缺...
Kafka
大数据
车联网
Maynor学长
2022-10-20 14:18:52
3385
0
0
2022-10-20 14:18:52
999+
0
0
实时即未来,大数据项目车联网之重启机制及数据积压
1 checkpoint配置l 选择合适的Checkpoint存储方式l CheckPoint存储方式存在三种官方文档:https://ci.apache.org/projects/flink/flink-docs-release-10/ops/state/state_backends.htmlMemoryStateBackend、FsStateBackend 和 RocksDBStat...
Flink
网络
Maynor学长
2022-10-20 14:18:07
1313
0
0
2022-10-20 14:18:07
999+
0
0
实时即未来,大数据项目车联网之原始数据实时ETL任务消费数据策略
实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤,对数据进行划分,并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL,读取kafka中的原始json数据,解析json数据,flink实时逻辑开发,数据落地到hive与hbasel 实现步骤:原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K...
JSON
Kafka
Maynor学长
2022-10-20 14:17:29
683
0
0
2022-10-20 14:17:29
683
0
0
实时即未来,车联网项目之创建Flink实时计算子工程
创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为:jar 2 导入实时分析子模块pom依赖略l 工程包目录 3 配置实时分析子模块资源文件conf.properties# mysql configurationjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc...
Flink
车联网
Maynor学长
2022-10-20 14:16:50
2743
0
0
2022-10-20 14:16:50
999+
0
0
实时即未来,车联网项目之项目展示和任务调度【八】
@[toc] 离线任务解析——多维统计数据的准确率多维统计数据准确率开发步骤自定义InputFormat 用于读取 Hive 数据对读取进来的数据Row(srcData,errorData)转换成Row(id,srcData,errorData,准确率,错误率,处理时间)自定义OutputFormat 写入到 mysql 数据库中 车联网项目 web 接口springboot 分三层 MVC...
任务调度
车联网
Maynor学长
2022-09-29 16:46:07
1625
0
0
2022-09-29 16:46:07
999+
0
0
实时即未来,车联网项目之远程诊断实时故障分析【七】
@[toc] 远程诊断实时故障业务 什么是远程诊断实时故障监管部门或者车企通过判断实时上报的车辆数据,从而研判当前车辆故障诊断信息,给驾驶员发送预警告警信息等。 应用场景介绍① 内部管理系统针对车辆的故障查询统计信息② 实时监控大屏 常用故障分析指标与含义19项车辆故障指标和车辆报警、故障信息属性50+*报警指标**报警指标内容**值与含义*batteryAlarm电池高温报警0:正常1:...
Redis
Maynor学长
2022-09-27 19:45:31
1426
0
0
2022-09-27 19:45:31
999+
0
0
实时即未来,车联网项目之电子围栏分析【六】
@[toc] 电子围栏简介和应用场景电子围栏简介和意义地理围栏是一个虚拟的空间围栏,可以帮助开发者检测人或物何时进入或离开预定义区域,并支持实时报警功能。电子围栏的应用场景签到打卡类场景共享单车类场景线下门店促销场景创建电子围栏在此项目中,使用的电子围栏是规则的圆形,判断是否在圆形电子围栏区域内,可以使用车辆位置和中心点球面距离小于等于半径,在电子围栏的区域内。还有一些不规则的电子围栏,这些...
MySQL
车联网
Maynor学长
2022-09-27 19:45:05
1568
0
0
2022-09-27 19:45:05
999+
0
0
实时即未来,车联网项目之车辆驾驶行为分析【五】
@[toc] 驾驶行程分析定义和业务逻辑 驾驶行程的概念一个完整意义的驾驶的行程,定义 15 分钟作为一个完整的行程,15分钟是停车前最后一条数据和驾驶前第一条数据之间间隔15分钟 驾驶行程分析业务的价值,分析什么指标单次行驶里程区间分布、单次行程消耗soc区间分布、最大里程分布、充电行程占比、平均行驶里程分布、周行驶里程分布、最大行驶里程分段统计、常用行驶里程、全国-每日平均行驶里程(近4...
交通智能体
Maynor学长
2022-09-27 19:44:41
962
0
0
2022-09-27 19:44:41
962
0
0
实时即未来,车联网项目之phoenix on hbase 即席查询【四】
@[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念:创建:查看:删除:②概念:创建...
Kafka
交通智能体
Maynor学长
2022-09-27 19:43:20
2434
0
0
2022-09-27 19:43:20
999+
0
0
总条数:111
10
10
20
50
100
1
2
3
4
5
6
...
12
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信