【摘要】在数据仓库类型的数据库中，大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当，在数据导入后有可能出现数据分布倾斜，进而导致某些磁盘的使用明显高于其他磁盘，极端情况下会导致集群 只读。 对于Hash分表策略，存在数据倾斜情况下，查询时出现部分DN的I/O短板，从而影响整体查询性能。 #如何选择分布列 采用Hash分表策略之后需对表的数据进行数据倾斜性检查，以确保数据在各个DN上是均匀分布的。一般来说，不同DN的数据量相差5%以上即可视为倾斜，如果相差10%以上就必须要调整分布列。 Hash分布表的分布列选取至关重要，需要满足以下基本原则： - 列值应比较离散，以便数据能够均匀分布到各个DN。例如，考虑选择表的主键为分布列，如在人员信息表中选择身份证号码为分布列； - 在满足第一条原则的情况下尽量不要选取存在常量filter的列； - 在满足前两条原则的情况，考虑选择查询中的连接条件为分布列，以便Join任务能够下推到DN中执行，且减少DN之间的通信数据量； - 支持多分布列特性，可以更好地满足数据分布的均匀性要求。 #调整分布列实施步骤 ##1. 连接数据库 通过datastudio 或者linux下使用gsql访问数据库。 ##2. 创建新表 ```js CREATE TABLE IF NOT EXISTS table1_new ( LIKE table1 INCLUDING ALL EXCLUDING DISTRIBUTION) DISTRIBUTE BY HASH (column1, column2); ``` ##3.迁移数据到新表 ```js START TRANSACTION; LOCK TABLE table1 IN ACCESS EXCLUSIVE MODE; INSERT INTO table1_new SELECT * FROM table1; COMMIT; ``` ##4. 删除原表 ```js DROP TABLE table1; ``` ##5. 替换原表 ``` ALTER TABLE table1_new RENAME TO table1; 注：标红的${dbname}为待变更表所在的数据库名，table1为原表名，table1_new为新表名，column1和column2为分布列名称。