作者小头像 Lv.1
更多个人资料
3 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
0
3
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
主题 | 回复
如何在MRS服务中使用LZO压缩算法
发布时间 2019/07/24 10:20:32 最后回复 yugogo0820 2021/10/28 10:35:49 版块 MapReduce服务
12143 6 0
他的回复:
Spark启用lzo【Spark客户端配置】配置文件/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml,添加下列配置io.compression.codecsorg.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.Lz4Codec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.ZStandardCodec,com.huawei.hadoop.datasight.io.compress.lzc.ZCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodecio.compression.codec.lzo.classcom.hadoop.compression.lzo.LzoCodec【提交命令】提交命令使用--jars 指定hadoop-lzo包,例如:spark-shell --master yarn --jars /opt/Bigdata/client/Hive/Beeline/lib/hadoop-lzo-0.4.20.jar