hbase rowkey 如何设计和 hbase如何优化

rowkey 如何设计

hbase(main):001:0> create 'user_pp','info','partition',SPLITS => ['201','202','203','204']

0 row(s) in 2.7700 seconds

[rd@bxzj-test-swift0.bxzj.baixinlocal.com ~]$ cat 1

a1

b2

c3

d4

e5

hbase(main):002:0>  create 'user_pp1','info','partition',SPLITS_FILE => '1'

0 row(s) in 3.0460 seconds

=> Hbase::Table - user_pp1

hbase(main):003:0>

rowkey是数据的唯一标识，这条数据存储在 哪个分区由预

分区分为决定的

合理设计rowkey 

1份数据分为 5个 region 存储

但是我们需要尽可能的保持每个region 中的额数据量差不多

尽可能的大三数据，平均分配到每个region 中即可 

解决方案：

生成随机数,hash/散列值 

201

202。。

字符串拼接

20190316_a3d4

反转 字符串

201903161 -> 161309102

201903162 ->

001 hunter henshuai

002 Dekireba beafuil

003

004

HBASE 基础优化

datande 允许最大文件打开数 

默认 4096  调大 

dfs.datanode.max.transfer.threads

hdfs-site.xml

优化等待时间

dfs.image.transfer.timeout 60000  毫秒

调大 

内存优化  

hadoop-env.sh  设置内存的堆大小 

export HADOOP_PORT_OPTS='-Xmx512m '