深度学习核心技术精讲100篇(八十五)-Dask 分布高性能计算深入讲解

举报
格图洛书 发表于 2022/03/17 00:51:47 2022/03/17
【摘要】 Dask 入门 识别和描述 Dask 数据集合(Collection),包含数组(Array)和数据框(DataFrame)和调度器。 认识到 Dask 数组的使用与 Numpy 数组的使用时类似的。 理解分块(chunk)大小(size)、形状(shape)和计算开销。 部署本地分布式集群并使用诊断仪表板(d...

Dask 入门

  • 识别和描述 Dask 数据集合(Collection),包含数组(Array)和数据框(DataFrame)和调度器。

  • 认识到 Dask 数组的使用与 Numpy 数组的使用时类似的。

  • 理解分块(chunk)大小(size)、形状(shape)和计算开销。

  • 部署本地分布式集群并使用诊断仪表板(diagnostics dashboard).

什么是 Dask?

Dask 是一个灵活应用于分析计算的并行计算包。Dask 能够提供动态并行任务调度系统、高级数据集合,如dask.arraydask.dataframe和一系列部署模式。

并行计算:如同电路串联和并联的概念,电路并联能够使得每一个分路从总负荷中分配各自的分路负荷。同理对并行计算也有类似的理解,每个并行节点都能够分配待解决问题的一部分,各个并行节点完成计算后,再将结果综合在一起得到最终的结果。更多关于并行计算的细节详见Introduction to Parallel Computing Tutorial[2].

Dask 适用范围:利用 Dask 延迟数据读取和 Zarr 格式读写数据可

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/123378133

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。