《Hadoop权威指南:大数据的存储与分析》—5.1.3 ChecksumFileSystem
【摘要】 本节书摘来自清华大学出版社《Hadoop权威指南:大数据的存储与分析》一书中第五章,第5.1.3节,作者是Tom White , 王 海 华 东 刘 喻 吕粤海 译。
5.1.3 ChecksumFileSystem
LocalFileSystem通过ChecksumFileSystem来完成自己的任务,有了这个类,向其他文件系统(无校验和系统)加入校验和就非常简单,因为ChecksumFileSystem类继承自FileSystem类。一般用法如下:
FileSystem rawFs = ...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);
底层文件系统称为“源”(raw)文件系统,可以使用ChecksumFileSystem实例的getRawFileSystem()方法获取它。ChecksumFileSystem类还有其他一些与校验和有关的有用方法,比如getChecksumFile()可以获得任意一个文件的校验和文件路径。请参考文档了解其他方法。
如果ChecksumFileSystem类在读取文件时检测到错误,会调用自己的reportChecksumFailure()方法。默认实现为空方法,但LocalFileSystem类会将这个出错的文件及其校验和移到同一存储设备上一个名为bad_files的边际文件夹(side directory)中。管理员应该定期检查这些坏文件并采取相应的行动。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)