专家实录｜GeminiDB T+0实时车联网方案，实时处理千万级车辆数据

本文作者：华为云GeminiDB服务域总监胡亚凡

点击观看采访视频

GeminiDB是华为云的一款云原生多模NoSQL数据库，依托华为云基础设施，构建了云原生分布式存算分离架构。该架构不仅性能卓越——通过高效的分布式存储引擎，单个KV的访问性能可实现P99时延小于2ms，且容灾能力强——依托3AZ容灾部署，三副本数据可实现强一致性，容灾故障后可做到RPO=0、RTO小于10s的高可用切换。

此外，存算分离架构还能保障数据的全局可见性。这意味着，当单个或多个节点发生故障时，其他节点可依托全局数据可见性，通过元数据快速匹配与调整，继续支撑数据服务，最多可容忍N-1个节点故障。该架构的另一大核心价值在于极致弹性：存储资源与计算资源可完全根据业务需求独立扩缩容，实现资源实时弹性调度，避免资源浪费或不足。

依托该架构，GeminiDB已快速衍生出4款引擎，实现6款主流生态协议的兼容：键值引擎兼容Redis协议，文档引擎兼容MongoDB协议，宽表引擎支持Cassandra、HBase、DynamoDB协议，时序引擎兼容业内最流行的Influx协议。

针对车联网场景，GeminiDB T+0方案可一次性解决“实时查询、海量数据注入、数据入湖、多源数据融合”等难题，无需企业单独搭建多个系统，降低了系统复杂度；传统宽表、时序及文档数据的复杂检索能力不足，而DB Search融合引擎打破这一限制，支持用户根据自身业务需求，灵活构建多样化的检索能力，满足更复杂的查询场景。

随着汽车产业向智能化深度转型，车联网已经从“辅助功能”升级为车企核心竞争力的重要载体，但随之而来的是数据规模、采集频率、存储成本与实时性要求的同步激增，逐渐形成车企在数据管理层面的多重挑战：

• 接入车辆数量持续攀升。

从数据来看，从2021年至今，车辆的年接入增长率已经超过30%，且安装车机装备的车辆占比已超80%，预计到2028年，市场整体的车机装载量将达到2140万辆。

• 存储成本增加。

一方面，数据需要长期存储以便回溯，如用于离线分析的热数据需要留存6年以上；为支撑实时分析，数据存储范围从一个月扩展至六个月。另一方面，数据体量呈爆发式增长，按照每100万辆车一年上报3PB数据来算，若车企管理1000万辆车，那么每年的数据规模将非常庞大。如何在满足业务需求的前提下，对数据进行高效存储和管理，并进一步降低成本，已成为车企面临的严峻挑战。

• 实时性要求变高。

车辆轨迹查询、油耗统计、状态监测、远程开锁等操作，如今都可以通过车联网实现，这意味着远程业务诉求的提升与业务场景的拓展，同时也对告警推送、故障分析的实时性提出更高要求，以便支撑车企实时决策。

面对业务的持续膨胀与场景的多样化，传统技术架构已难以满足车企的需求。

其一，架构设计复杂。

多数车企将实时流与离线流拆分处理，实时流用于快速点查，基于HBase构建，受限于整体吞吐量，无法对数据进行解析。而车辆信息定位、离线数据分析、详单查询及业务报表生成等场景往往需要依赖大数据湖。

其二，数据存储与性能压力突出。

车企采集的车辆信息达5000列，需通过一整套由多个开源组件而组成的复杂数据链路完整存储；若对这些数据进行拆解处理，需将性能提升5000倍，这对数据实时写入的性能提出极高要求。在进行离线分析时，通常需要将采集到的多列数据拆分，以列存形式存储，从而提升离线分析的性能与效率。这一过程需引入Flink进行数据解析，经处理后将列存数据写入数据湖；同时，为加速静态列的索引查询，还需引入ES方案。然而，上述传统架构十分臃肿，不仅导致数据写入难度增加，多套系统，不同技术栈运维难度也很大。

GeminiDB的T+0方案将实时流与离线流统一，能实时接入并处理千万级车辆产生的海量数据，同时提供持久化存储，支持T+0实时分析。

部分业务场景需要对数据进行多维度分析。该方案支持在车辆数据上报后将原始数据拆解为所需的多列数据并完成写入，而在分析环节，无需额外的后置解析，可直接按需提取目标数据，当前吞吐量完全能应对此类业务负载。

方案内置的倒排索引和二级索引，可以高效处理静态标签的过滤和查询，如车辆品类等，且整个过程实时完成，查询响应级别达秒级。

在车联网应用中，网络状态的波动非常明显，导致车辆数据乱序的情况十分常见。

GeminiDB T+0方案支持数据自动合并，且无需人工管理数据顺序：在数据写入与合并阶段，系统会自动按车辆维度进行整合，最终呈现的车辆数据不仅全局有序，所有字段也充分对齐，整个过程无需任何人工干预。

面对车联网的海量数据分析，传统方案需通过离线流执行批处理任务并导入对应场景，而GeminiDB的DB Lake已实现实时流与离线流的统一：用户仅需将数据导入实时流，系统会以T+3 小时的时效自动将数据同步至数据湖，大数据产品可以直接查询这些离线数据。这种“在线数据写入、离线数据自动入湖”的模式，大幅简化了离线数据管理链路，可节省近千个VCPU资源。

面对如此庞大的数据量，存储成本已成为首要难题，而“冷热分离”正是实现极致性价比的核心存储方案。具体而言，实时数据对性能要求高，需存储在ESSD、超高SSD等高性能介质中，以保障数据访问的吞吐量。但数据有明显的生命周期属性，随着时间推移，历史数据的价值会逐渐降低，仅需应对偶发的历史场景访问。针对这类数据，可将其卸载至OBS等低成本存储介质中，在满足留存需求的同时大幅降低存储成本。

GeminiDB可实现数据的全方位管理，用户只需预先设定冷热数据边界线，当数据流触发该边界时，系统会自动将符合条件的数据导入OBS冷存储中，无需人工干预。

而关于冷热数据的访问，用户完全感知不到数据的冷热属性，无需调整查询方式，系统会自动完成数据关联与冷数据检索，实现冷热数据的一致性访问体验。

在数据压缩方面，传统HBase方案采用通用压缩方式，不感知数据类型，仅将数据视为字符串进行标准压缩，通常只能实现5倍压缩率。

而GeminiDB T+0方案通过两步优化实现了极致压缩：第一步，将传统KV存储转为行列混存结构，从存储底层适配数据特性；第二步，针对数据类型进行自适应多级压缩，尤其车联网数据中占比高的数字数据，系统会先对数据分类，再对数值进行采样分析，判断并选择最优压缩算法进行跨区域块压缩，最后进一步叠加通用压缩。相比传统HBase方案，该方案的压缩率可提升10倍左右，其中对数值类型数据的压缩效果尤为显著。

目前，该方案已经应用到很多头部车企当中，以某车企为例：其每日会接入上百万辆车辆的数据，产生200亿~300亿条记录，单条数据包含1000~2000列字段，且早晚高峰期数据接入频率极高。通过采用GeminiDB T+0方案，系统可稳定承载每日的数据处理量，按需查询效率可达毫秒级，能完美支撑异常告警、车辆状态实时查询、详单查询等上层业务需求。

该实践更具备长期支撑能力：一是高扩展性，可横向扩展至300个节点，支撑未来5~10 年的数据增长；二是成本与场景优势，通过数据冷热分离、高数据压缩大幅降低整体存储成本，同时凭借多维检索能力，可支撑更多元的业务场景。

GeminiDB T+0实时车联网方案通过云原生多模架构，打造了应对车联网海量数据全链路挑战的能力。该方案以统一数据流支撑T+0实时分析与离线处理，通过冷热分离与自适应多级压缩等核心技术，在保障业务高性能与高可用的同时，实现了存储成本的显著优化，为车联网业务数智化发展提供了强有力的支撑。