湖仓一体，DWS对接Lakeformation【华为云DWS Studio SQL编辑器体验】

背景：

当前数据湖、数仓、AI数据孤岛化，导致数据虽然可以统一存储在OBS，但各个服务，各个集群的元数据仍然独自管理，形成数据管理的孤岛。

DWS想要访问MRS服务的存储在OBS上的数据只能通过创建外表的形式来访问，当前各服务元数据都不能统一配置和管理。

LakeFormation是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理、数据权限管理及API，打通数据壁垒，实现真正数智融合。支持对接MapReduce服务（MRS）、数据仓库服务GaussDB(DWS)、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心 DataArts Studio等多种计算引擎及大数据云服务，使用户可以便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。

价值：

DWS通过对接Lakeformation服务，可以打破数据孤岛，DWS无需创建外表，通过直接访问Lakeformation，便可获取到各个服务的表的元数据，进而访问各服务存储在OBS上的数据。并且可以通过Lakeformation服务的权限管理来实现细粒度权限控制。

DWS对接Lakeformation，当前支持规格：

当前仅MRS服务完成与Lakeformation服务的双向对接，即MRS服务中原本存储在HiveMetaStore中的元数据对接后去哪不存储在Lakeformation服务中。MRS服务消费元数据的时候会去Lakeformation读取，生产元数据的时候会放到Lakeformation中存储。

DWS与Lakeformation目前仅为单向对接，即DWS服务可以读取Lakeformation服务中存储的元数据，但DWS服务的元数据未存放到Lakeformation服务。当前DWS支持无需创建外表通过Lakeformation服务访问MRS服务存储在Lakeformation中的表。

使用指导：

1. 创建Lakeformation数据源

前提条件：

（1）有可用的LakeFormation实例且已对接MRS服务；

（2）创建包含LakeFormation权限的委托（需包含最小权限）。

步骤一：在GaussDB(DWS)管理管制台，单击“集群管理”。

步骤二：在集群列表，单击指定集群的名称，然后选择“数据源>LakeFormation数据源”。

步骤三：在LakeFormation数据源页面，单击“创建LakeFormation数据源连接”，填写配置参数。

2. 创建external schema

通过创建external schema来访问存储在Lakeformation服务中MRS服务表的元数据，进而访问存储在OBS上的表数据。

CREATE EXTERNAL SCHEMA schema_name 
    WITH SOURCE source_name
         DATABASE 'database_name'
         SERVER server_name        
		 CATALOG 'catalog_name'；
参数说明：
schema_name：外部模式名字。
SOURCE：外部元数据存储引擎的类型，此处填写lakeformation。
DATABASE：要访问的Lakeformation中的数据库的名称。
SERVER：创建的Lakeformation数据源名称。
CATALOG：Lakeformation中对应的要访问的catalog名称，此处填写hive。

3.角色授权

步骤一：首先查看dws当前用户

SELECT current_user;

步骤二：Lakeformation管控面创建角色

在Lakeformation管控面创建与步骤一查询结果同名的角色，通过对此同名角色进行权限控制，即对步骤一所查询的
用户实现权限控制。

4.查询Lakeformation表

SELECT * FROM ex_lf.test;

其中ex_lf为前面创建的external schema的名称，test为想要访问的Lakeformation服务的表。且该表已经在角色授权中对当前用户授予此表对应的select权限。

规格约束：

（1）支持表存储格式：ORC、PARQUET、TEXT、CSV、HUDI。

（2）目前仅支持读取Lakeformation服务中MRS服务的表。

（3）目前仅支持SELECT。

（4）不支持表包含map、struct、array、binary、tinyint、uniontype字段类型。

（5）不支持analyze。

我正在参加【有奖征文 第30期】DWS Studio SQL编辑器革新数据仓库体验
链接：https://bbs.huaweicloud.com/blogs/428964