作者小头像 Lv.6
更多个人资料
3278 成长值
22 关注
40 粉丝
+ 关注 私信

个人介绍

操作系统产品经理，擅长鲲鹏云环境上云架构设计与评审。linux操作系统开发工程师，在OS的调测、维优、安装、升级和裁减等领域具有丰富的设计和开发经验。在鲲鹏云服务移植方面，具有多次成功移植经验。

感兴趣或擅长的领域

IOT、人工智能、云安全、云计算、大数据
个人勋章
TA还没获得勋章~
成长雷达
3195
48
0
15
20

个人资料

个人介绍

操作系统产品经理，擅长鲲鹏云环境上云架构设计与评审。linux操作系统开发工程师，在OS的调测、维优、安装、升级和裁减等领域具有丰富的设计和开发经验。在鲲鹏云服务移植方面，具有多次成功移植经验。

感兴趣或擅长的领域

IOT、人工智能、云安全、云计算、大数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
海量小文件处理方式——EXtended HDFS
        上一篇我们说了Improve HAR机制在读方面还是存在性能问题，这篇我们就来聊聊这个问题的解决方案之一——EXtended HDFS。        Extended HDFS，即EHDFS。也是基于索引的，解决索引文件中小文件数量过大、引起更新索引困难的问题。为了改善HDFS读性能，EHDFS采用了预取方式。下面我们来看看“预取”方式是什么。        EHDFS有4...
Hadoop
作者小头像 敏敏君主 2021-01-21 09:40:07
2390
0
0
2021-01-21 09:40:07
999+
0
0
海量小文件处理方式——Improve HAR
     改进的HDFS结构包含两部分：用于聚合小文件为大文件的客户端组件，client；用于缓存资源管理的数据结点组件，data node；    具体架构图如下：       改进的HDFS模型是基于索引的。存在依赖关系的、同一目录下的小文件可以聚合为一个大文件，依次来减少每一个小文件元数据都单独存储在NameNode中对于NameNode结点内存的消耗。       缓存策略可以增加小...
Hadoop
作者小头像 敏敏君主 2021-01-20 17:43:18
2509
0
0
2021-01-20 17:43:18
999+
0
0
海量小文件处理方式——HAR
目前针对大数据场景处理海量小文件的方式和理论比较多，今天我们来聊一聊HAR，hadoop archiveHadoop archive 正如它的名字一样，是基于归档技术将大量小文件打包到HDFS块。Hadoop archive 中的文件存储在主存中，可以直接访问。下图是归档中的小文件数据模型：即目录dir下面存在n个文件，分别是file-1，file-2，。。。file-n。启动归档操作，将上...
Hadoop
作者小头像 敏敏君主 2021-01-18 19:05:11
3671
0
0
2021-01-18 19:05:11
999+
0
0
海量小文件处理方式——facebook开源的Haystack（二）
今天来聊聊Haystack三个关键模块的作用。先来张图回忆下Haystack组件架构Haystack Directory主要完成下面4方面的功能：第一、提供逻辑卷和物理卷之间的Map；第二、负责通过逻辑卷写和通过物理卷读之间的平衡；第三、决定图片处理从CDN获取还是Haystack Cache；第四、标识逻辑卷为只读，根据两个因素：1、操作设置为只读；2、卷大小达到上限。Haystack S...
前端
作者小头像 敏敏君主 2021-01-15 18:33:15
2335
0
0
2021-01-15 18:33:15
999+
0
0
海量小文件处理方式——facebook开源的Haystack（一）
最近想研究下FusionInsight HD平台在大数据处理方面面对海量小文件场景自研的smallFS组件的原理，奈何文档太少（基本就是与hdfs和zookeeper关联的图，我想看smallFS自身的架构图和业务流程图），只能转而研究facebook开源的处理海量图片场景的组件Haystack。现在将研究结果汇总如下：Haystack处理的图片数量：总数据量2600亿张图片，共计20PB级...
CDN
作者小头像 敏敏君主 2021-01-14 18:40:27
4801
0
0
2021-01-14 18:40:27
999+
0
0
公有云基础概念系列——EVS、SFS和OBS大比拼
其实我们经常在比对EVS、SFS和OBS，为了存储文件等对象纠结。下面的表格我认为总结的很好，就搬来与大家分享尤其是oceanstor和fusionStorage经常分不清楚用途，这下清楚了（来源：https://support.huawei.com/hedex/hdx.do?docid=EDOC1100162146&lang=zh）对比维度 EVS SFS OBS使用方式 为ECS、BMS...
云硬盘 EVS 对象存储服务 OBS 弹性文件服务 SFS
作者小头像 敏敏君主 2021-01-12 14:49:54
5712
0
2
2021-01-12 14:49:54
999+
0
2
业务上云流程系列——上云的5年规划怎么做？
今天聊一个客户关心的问题，当下、3年、5年应用系统规划怎么做？我们假设客户是因为当下的系统已经无法满足业务使用需要做改造了，我们假设是性能差。那么这种场景下，我们给客户下面的建议：【当下行动】第一步、在应用与数据库之间增加缓存，以提高性能；第二步、针对数据库做读写分离，提高读性能；第三步、针对数据库做分库分表，提高写性能；第四步、改造应用流程，提高应用处理性能；第五步、替换老的存储设备，提高...
数据库
作者小头像 敏敏君主 2021-01-07 21:20:56
2981
0
0
2021-01-07 21:20:56
999+
0
0
业务上云流程系列——客户现场如何做好调研？
公有云基础云服务比较多，前面一个章节我们聊了ECS的系列基础知识。接下来咱们先聊点实践的经验总结。调研是企业应用上云的起点，做好调研既是为接下来做应用上云打好基础，从客户的角度看，也是为客户做好摸底。所以调研是否全面、准确，是决定上云是否成功的关键。根据我个人参与过的应用业务上云调研，我认为调研可以分为下面几个阶段：一、初调，既初步了解业务系统应用场景，用户群里是谁，有什么特点。比如办公OA...
网络
作者小头像 敏敏君主 2021-01-05 21:14:06
3666
0
0
2021-01-05 21:14:06
999+
0
0
公有云基础概念系列——纠正一下安全组和ACL的区别
在前面我们聊了安全组，当时我参考本地windows防火墙策略，认为安全组的白名单策略和windows防火墙的策略很像，所以我说大家可以将安全组当做防火墙使用。但是它们还是有区别的。从防护对象看，安全组是针对主机的，云防火墙是针对子网或者VPC的。从规则优先级看，安全组所有规则平等，无优先级限制，云防火墙采用ACL规则，有优先级限制。从黑白名单看，华为云的安全组只有白名单，云防火墙黑白名单都支...
网络
作者小头像 敏敏君主 2021-01-04 21:20:55
5703
0
0
2021-01-04 21:20:55
999+
0
0
公有云基本概念系列——必须要说明白的一个概念，租户
还是上次在客户那交流私有云网络情况时，客户问到你们说的租户是什么意思？好了，我们接着聊租户的概念。租户是一个逻辑概念。我们每个人或者一个企业在公有云平台注册账户之后，平台就认为我们就是一个租户。就会以租户为基本单位来为我们分配资源。可以将租户想象为你的虚拟数据中心。比如我的华为云账户zmm，华为云就为我zmm这个账户分配了资源，身份ID、独立VPC。如果我再注册一个新的账户，那么华为云就会为...
边缘数据中心管理 EDCM
作者小头像 敏敏君主 2021-01-04 21:11:57
7856
0
0
2021-01-04 21:11:57
999+
0
0
总条数：37
10
10
20
50
100
  • 1
  • 2
  • 3
  • 4

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信