OpenTSDB原理系列-元数据模型

Wiki中关于"时间序列（Time Series）"的定义：

时间序列数据可被简称为时序数据。实时监控系统所收集的监控指标数据，通常就是时序数据 。时序数据具有如下特点：

• 每一个时间序列通常为某一固定类型的数值

• 数据按一定的时间间隔持续产生，每条数据拥有自己的时间戳信息

• 通常只会不断的写入新的数据，几乎不会有更新、删除的场景

• 在读取上，也往往倾向于读取最近写入的数据。

正是因为这些特点，通常使用专门的时序数据库来存储，因为这类数据库更能理解时序数据((TSDB))的特点，而且在读写上做一些针对性的优化。相信在在即将大范围普及的物联网(IoT)应用场景中，时序数据库(TSDB)会得到更加广泛的应用。

OpenTSDB是其中一种时序数据库实现，因为基于HBase生态构建而获得了广泛的关注。目前，华为云的CloudTable服务已经推出了OpenTSDB特性。

如下是源自OpenTSDB官方资料中的时序数据样例：

对于上面的任意一行数据，在OpenTSDB中称之为一个时间序列中的一个Data Point。以最后一行为例我们说明一下OpenTSDB中关于Data Point的每一部分组成定义如下：

可以看出来，每一个Data Point，都关联一个metrics名称，但可能关联多组<tagKey,tagValue>信息。而关于时间序列，事实上就是具有相同的metrics名称以及相同的<tagKey,tagValue>组信息的Data Points的集合。在存储这些Data Points的时候，大家也很容易可以想到，可以将这些metrics名称以及<tagKey,tagValue>信息进行特殊编码来优化存储，否则会带来极大的数据冗余。OpenTSDB中为每一个metrics名称，tagKey以及tagValue都定义了一个唯一的数字类型的标识码(UID)。

UID的全称为"Unique Identifier"。这些UID信息被保存在OpenTSDB的元数据表中，默认表名为"tsdb-uid"。

OpenTSDB分配UID时遵循如下规则：

• metrics、tagKey和tagValue的UID分别独立分配

• 每个metrics名称（tagKey/tagValue）的UID值都是唯一。不存在不同的metrics（tagKey/tagValue）使用相同的UID，也不存在同一个metrics（tagKey/tagValue）使用多个不同的UID

• UID值的范围是0x000000到0xFFFFFF，即metrics（或tagKey、tagValue）最多只能存在16777216个不同的值

为了从UID索引到metrics（或tagKey、tagValue），同时也要从metrics（或tagKey、tagValue）索引到UID，OpenTSDB同时保存了这两种映射关系数据。

在元数据表中，把这两种数据分别保存到两个名为"id"与"name"的Column Family中，Column Family描述信息如下所示：

说明：

1. RowKey为"0"的行中，分别保存了metrics、tagKey和tagValue的当前UID的最大值。当为新的metrics、tagKey和tagValue分配了新的UID后，会更新对应的最大值

2. RowKey为"1"的行中，RowKey为UID，Qualifier为"id:metrics"的值"metrics"，Qualifier为"id:tagk"的值为tagKey，Qualifier为id:tagv的值为tagValue

3. RowKey为"2"的行中，RowKey为UID，Qualifier为"id:tagv"的值为tagValue，暂不存在UID为"2"的metrics和tagKey

4. RowKey为"189.120.205.26"的行中，Qualifer为"name:tagv"的值为UID。表示当"189.120.205.26"为tagValue时，其UID为1

5. RowKey为"189.120.205.27"的行中，Qualifer为"name:tagv"的值为UID。表示当"189.120.205.26"为tagValue时，其UID为2

6. RowKey为"cpu.hum"的行中，Qualifer为"name:metrics"的值为UID。表示当cpu.hum为metrics时，其UID为1

7. RowKey为"host"的行中，Qualifer为"name:tagk"的值为UID。表示当host为tagValue时，其UID为1

由于HBase的存储数据类型是Bytes，所以UID在存储时会被转换为3个字节长度的Bytes数组进行存储。

对每一个Data Point，metrics、timestamp、tagKey和tagValue都是必要的构成元素。除timestamp外，metrics、tagKey和tagValue的UID就可组成一个TSUID，每一个TSUID关联一个时间序列，如下所示：

在上一章节的例子中，就涉及两个TSUID，分别是：

本文转载自微信公众号【NoSql漫谈】。

原文链接：https://mp.weixin.qq.com/s/PvRjjxkKg5ZBZFL82jJM1A