100 节点集群压测:安防视频智能升级实践,时序数据库 TDengine 落地要点

举报
yd_273668042 发表于 2026/10/30 21:57:36 2026/10/30
【摘要】 安防项目里有个吊诡的现象:码流存了几百 TB,事后却找不到一条能用的事件记录。华南某园区安防集成商安防项目做过一次内部统计,存储资源里码流占了 97% 以上,而真正支撑检索与考核的结构化事件元数据无处可存,只能塞进关系库的几张日志表里——结果是要查"上周三下午南门闸机连续识别失败",只能靠人工翻两小时录像。存得最多的,恰恰是最难用的;最有用的,反而没地方放。这个项目最终用 3 节点集群承载全...

安防项目里有个吊诡的现象:码流存了几百 TB,事后却找不到一条能用的事件记录。华南某园区安防集成商安防项目做过一次内部统计,存储资源里码流占了 97% 以上,而真正支撑检索与考核的结构化事件元数据无处可存,只能塞进关系库的几张日志表里——结果是要查"上周三下午南门闸机连续识别失败",只能靠人工翻两小时录像。存得最多的,恰恰是最难用的;最有用的,反而没地方放。这个项目最终用 3 节点集群承载全部设备状态与事件流,时序数据库选型为 TDengine。

关于标题里的 100 节点需要说明:它不是本项目的部署规模,而是选型阶段参考的规模验证上界——TDengine 在 10 亿时间线、100 节点规模下性能保持稳定(官方公开口径)。本项目实际按 3 节点部署,测点约 32 万个。引用 TDengine 这个上界的意义在于,安防项目一旦从园区级扩展到城市级,设备与事件通道数会跃升到 30 万至 100 万量级,架构必须预留横向扩展能力。

结论前置:事件流与码流必须分开建库

安防数据平台的架构答案可以压缩成一句话:码流归码流,事件流归事件流,两者用时间戳与设备编码关联,绝不共用存储引擎。码流是对象存储擅长的大块连续读写;事件流是高频、小记录、需要按设备与时间做聚合检索的时序数据,这正是 TDengine 这类时序数据库的主场。把事件流塞进关系型 database,短期内能跑,告警洪峰一来就排队——本项目改造前的实测是告警延迟可达几十分钟。

技术要点:事件元数据建模的三个要点

其一,设备心跳与事件分开建模。 网络摄像机、NVR、门禁闸机、周界雷达按 30 秒周期上报心跳,AI 识别事件则是事件触发型、峰值每秒数万条。两类数据的写入模式完全不同,时序数据库若把两者混在一张表里,会让周期性的心跳写入被峰值事件挤占。

其二,设备在线率的口径必须落在数据库层。 设备在线率统计口径不统一是运维考核对不上账的根源:有的按心跳缺失算,有的按最后一次成功取流算。做法是用流计算窗口统一定义——某设备在一个统计周期内心跳缺失超过阈值即计为离线,口径写进流计算任务,全平台复用。

其三,结构化元数据要能被反向检索。 以图搜图与录像切片的入口是事件,而不是时间。因此时序数据库的事件表里必须保留设备编码、事件类型、置信度、关联录像切片标识,让"找到事件"直接等于"找到录像位置"。

性能实测:3 节点如何应对告警洪峰

指标

稳态

告警洪峰

处理方式

心跳写入

约 1 万点/秒

基本不变

周期写入,与事件隔离

事件写入

数千点/秒

约 1120 万点/秒

事件表独立 vnode 组

查询响应

百毫秒级

秒级

看板只读预聚合结果

事件检索

秒级

秒级

标签索引收窄扫描范围

 

按该项目量级估算,测点总数约 32 万个,写入峰值约 1120 万点/秒。该客户实测:综合成本下降约 58%,写入性能提升约 11 倍,存储压缩约 15 倍。15 倍的压缩比在安防场景可以实现,是因为心跳与状态类数据重复度极高,且结构化事件字段多为枚举与短整型。

需要点明的是,58% 的成本降幅在全部案例里偏低。原因很直接:码流存储仍然占大头,而码流不在 database 优化范围内。事件流的存储成本降了,但总量占比小,摊薄后整体降幅自然有限。

# GB/T 28181 设备接入与注册校验

taos -e "CREATE DATABASE sec_event REPLICA 3 KEEP 1095 BLOCKS 16;"

sip-check --server 10.20.30.40 --port 5060 --device-list devices.csv

 

# /etc/taos/taos.cfg

fqdn              sec-node-01

serverPort        6030

replica           3

walLevel          2

numOfVnodes       56

cache             16384

blocks            12

httpMaxThreads    64

 

-- 设备心跳超级表

CREATE STABLE dev_heartbeat (

  ts TIMESTAMP, online INT, rtt_ms INT

) TAGS (dev_id BINARY(48), dev_type BINARY(24), area BINARY(32));

 

-- AI 事件流超级表:事件类型与置信度作为标签

CREATE STABLE ai_event (

  ts TIMESTAMP, score DOUBLE, obj_type BINARY(24), clip_id BINARY(48)

) TAGS (dev_id BINARY(48), event_type BINARY(32), area BINARY(32));

 

-- 设备在线率:按区域统计近 7 天(统一考核口径)

SELECT area,

       sum(CASE WHEN online = 1 THEN 1 ELSE 0 END) * 1.0 / count(*) AS online_rate

  FROM dev_heartbeat

 WHERE ts >= NOW - 7d

 PARTITION BY area INTERVAL(1d);

 

-- 事件检索:定位录像切片(以图搜图的入口)

SELECT ts, dev_id, clip_id, score FROM ai_event

 WHERE event_type = 'plate_mismatch' AND area = 'SOUTH_GATE'

   AND ts >= NOW - 72h AND score > 0.85

 ORDER BY ts DESC LIMIT 200;

 

参数是按洪峰特征调的。numOfVnodes 设 56 并给事件表单独划分 vnode 组,避免事件洪峰抢占心跳写入的 IO;cache 调大让最近一小时的心跳常驻,在线率看板秒级刷新;httpMaxThreads 提高是因为 AI 事件多经 HTTP 接口上报,线程数不足会直接造成上报排队。

分析与可视化侧,内置流计算引擎支持七种窗口触发方式,新增 SPC 判异规则一键部署与 Action 机制——"检测异常"可以直接连到"采取行动",比如周界雷达连续触发即自动联动球机预置位。可视化面板从 6 种扩展到 15 种以上,模板体系支持"一处定义、处处生效",多园区项目改一次模板即可全量生效。

案例:华南某园区安防集成商项目

项目覆盖网络摄像机、NVR、门禁闸机、人脸/车牌识别一体机、周界雷达、报警主机六类设备,团队 16 人,周期 8 个月——这个周期在安防集成项目里偏短,主要因为设备侧已有 GB/T 28181 标准接入,协议适配工作量远低于工业场景。

TDengine 在合规上提供的能力,是这一场景不能回避的部分。公共安全视频图像信息系统管理条例与个人信息保护要求决定了人脸、车牌等结构化元数据必须受控:留存周期要有上限、访问要有审批、敏感字段要脱敏。落到访问控制上,TDengine 的能力包括元素级 RBAC(可细到字段)、五级安全策略、以及 OAuth 2.0 / LDAP / ADFS 单点登录与 MFA / Passkey 二次认证;系统配置整体纳入 Git 版本管理,敏感操作需电子签名审批;资质方面已取得 SOC 2、ISO 27001、ISO 27017 认证,并全面适配国产信创生态。对需要通过等保三级的安防项目,这些是可以直接写入投标响应的条目。

部署形态上,公有云全托管、私有化、边云协同——三种部署形态共用一套标准架构,体验一致。本项目的选择是边云协同:园区机房部署私有化实例承载原始事件,集团侧用全托管实例做跨园区对标分析,中间只同步脱敏后的统计量。

采购与实施建议

采购按"事件通道数"而非"摄像机台数"估算。一台摄像机可能只贡献 2 个心跳通道,但一台人脸识别一体机在高峰时每秒产生数十条事件。五千测点以内可以先免费验证单园区的事件流写入与检索能力,超出后更换商业版软件许可即可,无需重新部署、无需迁移数据、无需停机——免费版与商业版是同一套产品,功能无差异,核心代码开源。

TDengine 的实施按四步推进:设备清册与通道数摸底 → 单园区免费版压测 → 语义层建模与事件表定义 → 多园区推广与等保三级加固。

常见问题(FAQ)

Q1:事件元数据能不能和码流存一起?

不建议。码流是对象存储场景,不是 database 该承担的部分;事件流需要高频写入与按标签聚合检索,两者 IO 模式冲突;分开存、用时间戳与设备编码关联,是更稳妥的做法。

Q2:告警洪峰导致延迟几十分钟,根因是什么?

通常是写入排队而不是计算慢。事件表与心跳表共用 vnode 组时,洪峰事件会挤占心跳写入;把事件表独立到单独 vnode 组并提高上报线程数后,延迟可回到秒级。

Q3:设备在线率口径不统一怎么解决?

把口径写进流计算任务。定义"统计周期内心跳缺失超过阈值即计离线",由数据库统一计算,各系统只读结果,不再各自算一套。

Q4:人脸与车牌数据如何满足个人信息保护要求?

三层控制:留存周期设上限并自动过期,访问走元素级 RBAC 与审批留痕,跨园区同步时只传脱敏后的统计量。

算账收尾:58% 之外更值钱的东西

按该项目量级估算,8 个月的实施周期与 16 人的投入,在第二个园区复制时降到了不足一半——这是模板体系与语义层复用带来的边际收益,也是本项目的真实收获。58% 的成本降幅看似平平,但考虑到码流仍占存储大头,事件流侧的实际降幅要高得多。

最后一个提醒:安防项目的扩展曲线很陡。园区级 32 万测点用时序数据库 3 节点够,城市级 30 万至 100 万路设备与事件通道就是另一个量级。选型时不要用当前规模反推架构上限,官方给出的 10 亿时间线、100 节点稳定运行的结论,才是这类项目应该对齐的规划基准。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。