HPC 软件栈与数据分析软件栈对比
HPC 软件栈
+------------------------------------------------------------+
Application | Applications and community Codes |
Level +------------------------------------------------------------+
MiddleWare +--------------------------------+ +------+
Management | FORTRAN, C, C++, IDE | | |
| | | |
+--------------------------------+ | |
+--------------------------------+ |SCI.V |
| Domain Specific library | |IS. |
| | | |
+--------------------------------+ | |
+----------------+ +---------------+ +--------------+| |
|MPI/OPENMP +Acce| | Numercial | |Programming/ || |
|lerator tools | |Libraries | |Debugging(eg. || |
| | | | |PAPI) || |
+----------------+ +---------------+ +--------------+| |
+----------------+ +---------------+ +--------------+| |
|Lustre(Parallel | | Batch Schedu | | System Monit || |
|File System) | + ler(eg. SLURM)| | or Tools || |
| | | | | || |
+----------------+ +---------------+ +--------------++------+
-----------------------------------------------------------------------------------------
System +---------------------------------------------------+
Software | Containers (Singularity, Shifter, etc.) |
| |
+---------------------------------------------------+
+---------------------------------------------------+
| Linux OS Variant |
| |
+---------------------------------------------------+
-----------------------------------------------------------------------------------------
Cluster +---------------+ +----------+ +----------+ +-------+
Hardware | Infiniband + | |Local + | | X86 Rack+| |In-Situ|
| Eth Switches | | SAN | |GPU or .. | |Proce. |
+---------------+ +----------+ +----------+ +-------+
数据分析软件栈
+------------------------------------------------------------+
Application | Manhout R and Applications |
Level +------------------------------------------------------------+
MiddleWare+------+ +------------+ +------------+ +--------+ +------+
Management| | | HIVE | | PIG | |FLUME | | |
| | | | | | | | | |
| | +------------+ +------------+ +--------+ | |
| | |Zooke |
| | +------------+ +------------+ +------------------+ |eper( |
| cloud| |MAPREDUCE | | STORM | | SQOOP | |coordi|
|serv | | | | | | | |nation|
| | +------------+ +------------+ +------------------+ | |
| | +---------------------------------------------------+| |
| | | YARN || |
| | +---------------------------------------------------+| |
| | +---------------------------------------------------+| |
| | | HBASE Bigtable(KV Store) || |
| | +---------------------------------------------------+
| | +---------------------------------------------------+| |
| | | HDFS || |
| | +---------------------------------------------------++------+
---------------------------------------------------------------------------------------
System | | +---------------------------------------------------+
Software | | | Virtual Machine and CLoud Service Container |
| | | |
| | +---------------------------------------------------+
| | +---------------------------------------------------+
| | | Linux OS Variant |
+------+ | |
+---------------------------------------------------+
-----------------------------------------------------------------------------------------
Cluster +---------------+ +--------------+ +-----------------+
Hardware | Ethenet | | Local Storage| | X86 Racks |
| Switches | | | | |
+---------------+ +--------------+ +-----------------+
资源管理诉求差异
| 对比项 |
科学与工程计算 |
企业与商业计算 |
| 主要用途 |
求解方程 |
查询和搜索 |
| 本质差别 |
向计算发送数据（大数据大计算） |
向数据发送计算（小数据小计算） |
| 系统效率来源于 |
并行计算 |
分布处理 |
| 对可扩展性的期望 |
强（计算方法，系统性能） |
弱 |
| 主要编程模型 |
消息传递（MPI）、共享存储（OpenMP）、 向量（SIMD） |
Map-reduce, SPMD |
| 主流语言 |
FORTRAN，C++, Python：强调性能 |
Java, Scala, Hadoop，Python, R：强调好用 |
| 计算特征 |
数值计算（代数，图形绘制、图像生成/处理等） |
非数值计算（集合，关系，图等） |
| 访存特征 |
可预测，规则 |
随机,不规则 |
| 存储特征 |
集中式，单副本，POSIX／RAID |
分散式，多副本 |
| 源文件系统 |
Lustre, GPFS |
HDFS，S3, NFS等 |
数据格式与文件系统差异
| 对比项 |
科学与工程计算 |
企业与商业计算 |
| 结构化数据 |
向量，矩阵，张量 |
表格，键值，对象 |
| 非结构化数据 |
网格，基于物理的图形和图像 |
文档，基于拍摄的图片 |
| 提取/变换/加载 |
Fourier, Wavelet, Laplace, 等; Cartesian, Radial, Toroidal, 等 |
文件格式变换， e.g. CSV to VRML |
| 搜索和查询 |
周期性、自相似性、异常性等性质 |
SQL,SPARQL等(通过求和、平均，分组等) |
| 可视化需求 |
顶点（点云），表面，体 |
词云、平行坐标，BI工具 |
| 训练的数据量 |
O（GBs~TBs）per sample（单个数据量大）, O(103)samples（数据个数相对少）, O(10)categories（数据类别相对少） |
O（KB）per sample（单个数据量小）, O(106)samples（数据个数相对多）, O(104)categories（数据类别相对多） |
| 数据形式 |
HDFS, NETCDF |
关系，文档，键值 |
| 校验方法 |
交叉验证（ROC曲面，统计学意义） |
手工/目标事务专家验证， A/B测试 |
用户面差异
| 对比项 |
科学与工程计算 |
企业与商业计算 |
| 计算／算法模型 |
领域专用 |
CNN，RNN，LSTM，GAN等 |
| AI基准应用 |
由理论模型（如NavierStokes）构建的机器学习算法 |
基于人的认知模型构建的机器学习算法 |
| 并行性来源 |
模型，全程序 |
数据，服务请求 |
| 应用实例 |
计算操纵，代理建模 |
语言，测试图像解释，超个性化 |
| 对系统优劣的度量 |
可解释性，可行性 |
时效性，精确度，模型规模 |
| 硬件设计重点 |
计算和内存，多节点体系结构，高速互连通信，（如，SSD硬盘），深度优化 |
存储系统，内部以太网组建，任务容错，低 成本标准部件（如：HDD硬盘），使用简单 |
| 用户访问模式 |
系统登录/开放底层接口；用户对软硬件系统结构特性的深度了解决定重大应用的成败与否 |
云服务/资源虚拟化；软硬件系统结构特性对 大多数用户是透明的 |
| 项目资助模式 |
非赢利性资助，解决人类重大挑战性问题 （公益性；追求科学意义） |
价值驱动，满足中小企业与商业应用需求 （收费使用；成本分摊，追求利益） |
| 运维管理模式 |
主要依托国家科研机构和高校，长期的政府补贴 |
公司化运作 |
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
评论（0）