给hadoop3, hbase2引入高效压缩zstd本地库
【摘要】 一种使用EulerOS 2.x/centos7运行hadoop3/hbase2时，快速安装zstd库的方法
文章（https://bbs.huaweicloud.com/blogs/168931）已经介绍了zstd算法，以及从源码开始安装zstd库方式；这里介绍一种使用EulerOS 2.x/centos7运行hadoop3/hbase2时，快速安装zstd库的方法。
安装
直接从下面地址下载zstd库的rpm文件
https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libzstd-1.4.5-3.el7.x86_64.rpm
使用下面命令安装
rpm -i zstd-1.4.5-3.el7.x86_64.rpm
验证
进入$hadoop/bin目录，执行命令：hadoop checknative -a
./hadoop checknative -a 2020-06-19 17:20:08,155 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native 2020-06-19 17:20:08,157 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /data/disk2/ts/hadoop-3.2.1/lib/native/libhadoop.so.1.0.0 zlib: true /lib64/libz.so.1 zstd : true /lib64/libzstd.so.1 snappy: true /lib64/libsnappy.so.1 lz4: true revision:10301 bzip2: true /lib64/libbz2.so.1
如果能看到zstd : true，说明已经zstd库能够被正常加载
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）