华为云MRS Spark基于华为云对象存储服务(OBS)的Hadoop文件系统快速删除指南
• 配置快速删除
在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml
添加下列属性:
fs.obs.trash.enable为true;
fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注:此目录可根据客户需求,命名。
例如:
<property>
<name>fs.obs.trash.enable</name>
<value>true</value>
</property>
<property>
<name>fs.obs.trash.dir</name>
<value>.obs-Posix-FastDelete/</value>
</property>
• 配置快速删除目录的LifeCycle:
基于并行文件系统的生命周期(Lifecycle)管理机制,自动定期删除指定的目录
华为云的OBS 并行文件系统支持资源的生命周期管理(详见https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829074.html )。
实际操作示例如下所示:
1. 客户登录华为云OBS的Web控制台,点击目标的OBS并行文件系统
2. 在对象存储服务的概览页面中,点击“生命周期规则”进入配置页面
3. 配置生命周期规则,示例如下图
a) “策略”配置:一定要选择“按前缀配置”来指定目标的目录,否则整个并行文件系统中的内容都会被清除
b) “前缀”配置:如前文所述,”.obs-Posix-FastDelete/”。
c) “天数”配置:配置垃圾过期的时间以“天”为单位,不能为0,这就意味着,最少也是在一天以后,这个目录下的内容才会被清空。建议小于7天。
- 点赞
- 收藏
- 关注作者
评论(0)