云社区 大数据开发
# 大数据开发 #
如何使用modelarts训练海量数据
在modelarts上使用notebook上使用evs空间默认大小是5G，能满足大部分文本和图片训练模型的需求。如果训练数据稍微超过这个限额，可以适当的扩增下空间。但如果训练对象是视频，或是实际生成过程中的海量数据，这个空间就显得小了，这时候扩增evs空间就显得很不经济了。最近老山便碰到这样的案例，客户的训练数据大约在1T的量级，在obs上存储的数据结构大概如下图所示。your-obs-na...
作者小头像 开源小分舵-山找海味
7348
1
3
华为云大咖说—大数据应用开发指导
华为云大咖说-大数据应用开发指导 赵军 华为云MRS服务架构师 因为今天是第一天上课，所以赵军先给大家讲解一下相关的概念方便今后的课程学习。 首先是一组概念，分按照公有云资源池模型可分为Region和AZ。两种模式为用户提供标准化的计算池以构建不同可用性的应用。对于客户来讲，可以有多种选择。每个AZ都有自己的独立空间，因此可以避免连续的故障发生。 接下来需要...
作者小头像 Tom forever
12484
0
3
通过Java8的Lambda表达式提升大数据编码速度
拿到大量数据以后，通常需要使用Hadoop/Spark对数据集进行清洗。在这里我整理了Java中Lambda表达式的一些用法，希望能够提高大家的编码速度Lambda在Java 8中添加了Lambda新特性。如果接口中只有一个方法，则可以使用Lambda来完成。例如Runnable接口，只有一个run方法。在Java 8以下中我们需要这么写：new Thread(new Runnable(){...
作者小头像 Tsln
6642
0
0
华为云学院给大学生的献礼：轻松玩转微认证
第72届“世界大学生日”刚刚过去不久，这个节日本是为了在大学生中倡导追求和平、民主、自由和进步，如今，战乱过去已久，现今社会对人才的要求和期待越来越高，大学生也有着属于这个时代的使命与目标。 现如今，基于ICT 网络、以人工智能为引擎的第四次技术革命正将我们带入一个万物感知、万物互联、万物智能的智能世界。大学生在这个日益迅速进步的时代中，也需要时刻保持学习的心态，才能不落伍于时代，跟上...
作者小头像 Mancccy
5954
0
0
【浙华大讲堂】我喜欢六月的风，七月的雨，不落的太阳和会大数据开发的你
“数”中自有黄金屋
作者小头像 浙华培训
4165
0
0
热门标签