华为云MRS Spark基于华为云对象存储服务(OBS)的Hadoop文件系统快速删除指南

• 配置快速删除

在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml

添加下列属性：

fs.obs.trash.enable为true；

fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。

例如：

<property>

    <name>fs.obs.trash.enable</name>

    <value>true</value>

</property>

<property>

    <name>fs.obs.trash.dir</name>

    <value>.obs-Posix-FastDelete/</value>

</property>

• 配置快速删除目录的LifeCycle：

基于并行文件系统的生命周期（Lifecycle）管理机制，自动定期删除指定的目录

华为云的OBS 并行文件系统支持资源的生命周期管理（详见https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829074.html ）。

实际操作示例如下所示：

1. 客户登录华为云OBS的Web控制台，点击目标的OBS并行文件系统

2. 在对象存储服务的概览页面中，点击“生命周期规则”进入配置页面

3. 配置生命周期规则，示例如下图

a) “策略”配置：一定要选择“按前缀配置”来指定目标的目录，否则整个并行文件系统中的内容都会被清除

b) “前缀”配置：如前文所述，”.obs-Posix-FastDelete/”。

c) “天数”配置：配置垃圾过期的时间以“天”为单位，不能为0，这就意味着，最少也是在一天以后，这个目录下的内容才会被清空。建议小于7天。