实时即未来,大数据项目车联网之车辆常用部分字段明细数据ETL(11)

举报
Maynor学长 发表于 2022/10/31 12:30:21 2022/10/31
【摘要】 theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第11天,点击查看活动详情 1. 车辆常用部分字段明细数据ETL从原始数据中加载出车辆指标:电量百分比(currentElectricity)、当前电量(remainPower)、百公里油耗(fuelConsumption100km)、发动机速度(engineSpeed)、车辆速度(ve...

theme: smartblue

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第11天,点击查看活动详情

1. 车辆常用部分字段明细数据ETL

从原始数据中加载出车辆指标:电量百分比(currentElectricity)、当前电量(remainPower)、百公里油耗(fuelConsumption100km)、发动机速度(engineSpeed)、车辆速度(vehicleSpeed)

除此之外,最终数据落地hbase,与phoenix建立关联视图,通过phoenix查询明细,因此行主键(rowKey)、车架号(vin)、终端时间(terminalTime)、存储时间(processTime)

创建hbase车辆指标即席查询明细表:

create “itcastsrc_vehicle_detail”,“cf”

车辆明细数据ETL实现步骤:

  • 在实时ETL主任务(*KafkaSourceDataTask\)中增加逻辑

  • 写入etl后的数据,到hbase中,自定义hbase输出

主类实现

//TODO 13)将经常用于分析的字段提取出来保存到一个hbase独立的表中,这个表的字段要远远小于正常数据宽表的字段数量, // 将来与Phoenix整合以后,在可视化页面zepplin中分析查询hbase表数据 VehicleDetailSinkOptimizer vehicleDetailSinkFunction = new VehicleDetailSinkOptimizer(“itcastsrc_vehicle_detail”); srcDataStream.addSink(vehicleDetailSinkFunction);
img

1.1 自定义sink实现数据写入hbase

自定义sink,继承RichSinkFunction类,重写open、invoke、close方法(选中)

实现RichSinkFunction抽象类,重写父类方法

/
 * 自定义实现车辆明细表数据存储到hbase表中
 * 经常用于分析的字段存储到hbase独立的表中
 */

1.2 phoenix明细数据视图

创建phoenix关联车辆指标即席查询明细视图:

create view if not exists "itcastsrc_vehicle_detail"(
rowKey VARCHAR PRIMARY KEY,
"cf"."vin" VARCHAR,
"cf"."terminalTime" VARCHAR,
"cf"."currentElectricity" VARCHAR,
"cf"."remainPower" VARCHAR,
"cf"."fuelConsumption100km" VARCHAR,
"cf"."engineSpeed" VARCHAR,
"cf"."vehicleSpeed" VARCHAR,
"cf"."processTime" VARCHAR
);	

查询效果

img

确认hbase原始数据表中的数据总数与车辆明细表数据总数是否一致

n itcast_src表总数

img

img

n itcastsrc_vehicle_detail表总数

img

思考:

车辆明细数据经过实时ETL后,存入到itcastsrc_vehicle_detail\ 新表中,下一步根据计算指标,进行sql查询

2. 车辆明细数据统计

2.1 车辆总数统计

统计车辆明细总数(某天某时刻明细数据)

  • 每辆车每天采集多条数据,因此需要对车辆进行去重,采集过数据的车辆只计数一次,车辆唯一标识为vin,因此对vin进行去重统计总数即可
select count(distinct(“vin”)) totalVehicleNum from “itcastsrc_vehicle_detail” where “terminalTime” like ‘2019-11-20 15%’;
img

统计每天在线的车辆总数

  • 以天为维度统计车辆数,基于“总的采集数据车辆数”统计,增加按天分组

  • 需要用到vin,terminalTime

select count(1) dayTotalNum, SUBSTR(“terminalTime”, 0,10) from “itcastsrc_vehicle_detail” group by SUBSTR(“terminalTime”, 0,10);
image-20221020104408981

2.2 车辆电量统计

统计车辆电量百分比

  • 统计车辆最大、最小电量百分比,需要用到vin,currentElectricity

  • 单位:百分比

select “vin”, max(“currentElectricity”) as “maxValue”, min(“currentElectricity”) as “minValue” from “itcastsrc_vehicle_detail” where “currentElectricity” is not null group by “vin”;
image-20221020104516556

统计当前电量

  • 统计用到的字段remainPower

  • 单位:百分比(已乘以100)

  • 当前电量求平均

to_number(“value”) 把字符串类型或日期类型转换成数值类型

  • 官方说明

img

select “vin”, avg(*to_number(“remainPower”)) avgRemainPower from “itcastsrc_vehicle_detail” where “terminalTime” like ‘2019-11-20%’ and “remainPower” is not null group by “vin”;
img

2.3 车辆油耗统计

统计车辆百公里油耗-ok

  • 统计用到的字段fuelConsumption100km

  • 统计每辆车的百公里油耗

电动车为何还有油耗

一辆普通的燃油汽车和一辆电动汽车行驶相同的距离,需要的能量是相同的,根据汽车动能计算出行驶百公里耗电量得出油耗

select distinct(“vin”) distinctVin, “fuelConsumption100km” from “itcastsrc_vehicle_detail” where “terminalTime” like ‘2019-11-20%’ and “fuelConsumption100km” is not null group by “vin”,“fuelConsumption100km”;
img

2.4 车辆速度统计

统计车辆发动机速度

  • 统计使用字段engineSpeed

  • 求最大、最小、平均车速

select “vin”, max(“engineSpeed”) maxEngineSpeed, min(“engineSpeed”) minEngineSpeed, avg(*to_number(“engineSpeed”)) avgEngineSpeed from “itcastsrc_vehicle_detail” where “terminalTime” like ‘2019-11-20%’ and “engineSpeed” is not null group by “vin”;
img
img

统计车辆速度vehicleSpeed

  • 求最大、最小、平均车速
select “vin”, max(“vehicleSpeed”) maxVehicleSpeed, min(“vehicleSpeed”) minVehicleSpeed, avg(*to_number(“vehicleSpeed”)) avgVehicleSpeed from “itcastsrc_vehicle_detail” where “terminalTime” like ‘2019-11-20%’ and “vehicleSpeed” is not null group by “vin”;
img
img

思考:统计出以上电量、油耗、速度的意义,根据数据得出有价值的结论,如何直观查看到数据变化?

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。