海量小文件处理方式——合并算法介绍
      大数据分析平台以下面的格式存储设备文件：/var/work/${file type}/year/month/day，形象的图如下：比如/var/work/pcap/2018/10/02/file1，file2......      大数据分析平台小文件合并算法是基于上述目录分层的，算法输入是上面的某个目录，比如/var/work/pcap/2018/10/02，算法输出是一个或者...
作者小头像 敏敏君主
10
0
0
2021-01-21 19:58:09
10
0
0
海量小文件处理方式——EXtended HDFS
        上一篇我们说了Improve HAR机制在读方面还是存在性能问题，这篇我们就来聊聊这个问题的解决方案之一——EXtended HDFS。        Extended HDFS，即EHDFS。也是基于索引的，解决索引文件中小文件数量过大、引起更新索引困难的问题。为了改善HDFS读性能，EHDFS采用了预取方式。下面我们来看看“预取”方式是什么。        EHDFS有4...
作者小头像 敏敏君主
15
0
0
2021-01-21 09:40:07
15
0
0
海量小文件处理方式——Improve HAR
     改进的HDFS结构包含两部分：用于聚合小文件为大文件的客户端组件，client；用于缓存资源管理的数据结点组件，data node；    具体架构图如下：       改进的HDFS模型是基于索引的。存在依赖关系的、同一目录下的小文件可以聚合为一个大文件，依次来减少每一个小文件元数据都单独存储在NameNode中对于NameNode结点内存的消耗。       缓存策略可以增加小...
作者小头像 敏敏君主
5
0
0
2021-01-20 17:43:18
5
0
0
海量小文件处理方式——HAR
目前针对大数据场景处理海量小文件的方式和理论比较多，今天我们来聊一聊HAR，hadoop archiveHadoop archive 正如它的名字一样，是基于归档技术将大量小文件打包到HDFS块。Hadoop archive 中的文件存储在主存中，可以直接访问。下图是归档中的小文件数据模型：即目录dir下面存在n个文件，分别是file-1，file-2，。。。file-n。启动归档操作，将上...
作者小头像 敏敏君主
22
0
0
2021-01-18 19:05:11
22
0
0
海量小文件处理方式——facebook开源的Haystack（二）
今天来聊聊Haystack三个关键模块的作用。先来张图回忆下Haystack组件架构Haystack Directory主要完成下面4方面的功能：第一、提供逻辑卷和物理卷之间的Map；第二、负责通过逻辑卷写和通过物理卷读之间的平衡；第三、决定图片处理从CDN获取还是Haystack Cache；第四、标识逻辑卷为只读，根据两个因素：1、操作设置为只读；2、卷大小达到上限。Haystack S...
作者小头像 敏敏君主
11
0
0
2021-01-15 18:33:15
11
0
0
海量小文件处理方式——facebook开源的Haystack（一）
最近想研究下FusionInsight HD平台在大数据处理方面面对海量小文件场景自研的smallFS组件的原理，奈何文档太少（基本就是与hdfs和zookeeper关联的图，我想看smallFS自身的架构图和业务流程图），只能转而研究facebook开源的处理海量图片场景的组件Haystack。现在将研究结果汇总如下：Haystack处理的图片数量：总数据量2600亿张图片，共计20PB级...
作者小头像 敏敏君主
22
0
0
2021-01-14 18:40:27
22
0
0
公有云基础概念系列——EVS、SFS和OBS大比拼
其实我们经常在比对EVS、SFS和OBS，为了存储文件等对象纠结。下面的表格我认为总结的很好，就搬来与大家分享尤其是oceanstor和fusionStorage经常分不清楚用途，这下清楚了（来源：https://support.huawei.com/hedex/hdx.do?docid=EDOC1100162146&lang=zh）对比维度 EVS SFS OBS使用方式 为ECS、BMS...
作者小头像 敏敏君主
11
0
0
2021-01-12 14:49:54
11
0
0
业务上云流程系列——上云的5年规划怎么做？
今天聊一个客户关心的问题，当下、3年、5年应用系统规划怎么做？我们假设客户是因为当下的系统已经无法满足业务使用需要做改造了，我们假设是性能差。那么这种场景下，我们给客户下面的建议：【当下行动】第一步、在应用与数据库之间增加缓存，以提高性能；第二步、针对数据库做读写分离，提高读性能；第三步、针对数据库做分库分表，提高写性能；第四步、改造应用流程，提高应用处理性能；第五步、替换老的存储设备，提高...
作者小头像 敏敏君主
66
0
0
2021-01-07 21:20:56
66
0
0
业务上云流程系列——客户现场如何做好调研？
公有云基础云服务比较多，前面一个章节我们聊了ECS的系列基础知识。接下来咱们先聊点实践的经验总结。调研是企业应用上云的起点，做好调研既是为接下来做应用上云打好基础，从客户的角度看，也是为客户做好摸底。所以调研是否全面、准确，是决定上云是否成功的关键。根据我个人参与过的应用业务上云调研，我认为调研可以分为下面几个阶段：一、初调，既初步了解业务系统应用场景，用户群里是谁，有什么特点。比如办公OA...
作者小头像 敏敏君主
54
0
0
2021-01-05 21:14:06
54
0
0
公有云基础概念系列——纠正一下安全组和ACL的区别
在前面我们聊了安全组，当时我参考本地windows防火墙策略，认为安全组的白名单策略和windows防火墙的策略很像，所以我说大家可以将安全组当做防火墙使用。但是它们还是有区别的。从防护对象看，安全组是针对主机的，云防火墙是针对子网或者VPC的。从规则优先级看，安全组所有规则平等，无优先级限制，云防火墙采用ACL规则，有优先级限制。从黑白名单看，华为云的安全组只有白名单，云防火墙黑白名单都支...
作者小头像 敏敏君主
64
0
0
2021-01-04 21:20:55
64
0
0
总条数：28 到第 页

上划加载中

个人简介
最新评论

IBMW

2020-09-25 12:48:33 评论了：

华为鲲鹏云 KBengine arm64编译问题实践报告

Jack20

2020-09-22 13:10:08 评论了：

华为鲲鹏云 KBengine arm64编译问题实践报告

kp-xiaobai

2020-07-06 13:05:51 评论了：

化鲲为鹏，我有话说【程序奔溃】华为鲲鹏云服务器 presto 0.212软件运行奔溃

小小学习者

2019-11-25 22:19:57 评论了：

华为鲲鹏云服务最佳实践xsp-4.5(rpm)安装配置指南