微软行星云计算Planetary Computer——使用 GitHub 代码来操作
GitHub Codespaces是一个托管在云中的开发环境。
git hub的界面
上手最简单的方法是将叉的行星计算机实例库,并创建一个新的码域(我们建议设置一个默认区第一)。
这将在您的 GitHub 帐户下创建一个代码空间,该代码空间配置为可以很好地处理我们的数据。
当您启动笔记本时,系统会提示您选择内核。选择内核。'notebook': conda
设置默认区域
我们建议您在西欧创建代码空间。您可以按代码空间执行此操作,或设置默认区域。
这可确保您的计算节点与数据位于同一 Azure 区域,从而在访问来自Planetary Computer 目录的数据时提供最高性能。
使用行星计算机环境
您的 Codespace 使用开发容器来提供进行数据分析和软件开发所需的所有软件和工具。
我们在https://github.com/microsoft/planetary-computer-containers 上发布了我们的环境,其中包含许多对地理空间数据分析有用的包。这些可以在项目的代码空间配置中使用,以确保您可以访问这些包。
使用行星计算机的 Dask 网关
代码空间使您可以访问物理上靠近行星计算机数据的单个节点。如果您需要多台机器,您可以使用行星计算机的 Dask 网关来扩展您的分析。
笔记
使用行星计算机的 Dask 网关需要一个行星计算机帐户。如果您没有帐户,您可以请求访问。
首先,您需要一个 JupyterHub API 令牌。您可以在Hub | Planetary Computer生成一个。
接下来,按照本指南将 JupyterHub API 令牌设置为加密的密钥。您需要授予对要访问密钥的存储库的访问权限。为确保 dask-gateway 自动检测到它,环境变量必须命名为JUPYTERHUB_API_TOKEN
。
如果您的代码空间JUPYTERHUB_API_TOKEN
已经在运行,您需要在授予它访问密钥的权限后重新启动它。
最后,配置您的devcontainer.json
文件以包含相关的环境变量。如果您通过派生Planetary Computer Examples 来创建您的代码空间,那么您已经拥有了这些设置。
{
"containerEnv": {
"DASK_GATEWAY__AUTH__TYPE": "jupyterhub",
"DASK_GATEWAY__CLUSTER__OPTIONS__IMAGE": "pcccr.azurecr.io/public/planetary-computer/python:latest",
"DASK_GATEWAY__ADDRESS": "https://pccompute.westeurope.cloudapp.azure.com/compute/services/dask-gateway",
"DASK_GATEWAY__PROXY_ADDRESS": "gateway://pccompute-dask.westeurope.cloudapp.azure.com:80",
}
}
现在,您可以创建Dask集群并将您的工作负载分配到多台机器上。
任何使用 Dask 的计算都将在您的集群上执行。
文章来源: blog.csdn.net,作者:此星光明2021年博客之星云计算Top3,版权归原作者所有,如需转载,请联系作者。
原文链接:blog.csdn.net/qq_31988139/article/details/120854396
- 点赞
- 收藏
- 关注作者
评论(0)