作者小头像 Lv.3
更多个人资料
479 成长值
1 关注
7 粉丝
+ 关注 私信

个人介绍

得数据者得天下

感兴趣或擅长的领域

IOT、大数据、微服务架构、编程语言、DevOps
个人勋章
TA还没获得勋章~
成长雷达
470
9
0
0
0

个人资料

个人介绍

得数据者得天下

感兴趣或擅长的领域

IOT、大数据、微服务架构、编程语言、DevOps

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
Hadoop Streaming：用 Python 编写 Hadoop MapReduce 程序
随着数字媒体、物联网等发展的出现，每天产生的数字数据量呈指数级增长。这种情况给创建下一代工具和技术来存储和操作这些数据带来了挑战。这就是 Hadoop Streaming 的用武之地！下面给出的图表描绘了从 2013 年起全球每年产生的数据增长情况。 IDC 估计，到 2025 年，每年产生的数据量将达到 180 Zettabytes！
作者小头像 Donglian Lin
3183
0
1
2021-09-17 10:13:18
999+
0
1
MapReduce 示例：减少 Hadoop MapReduce 中的侧连接
在排序和reducer 阶段，reduce 侧连接过程会产生巨大的网络I/O 流量，在这个阶段，相同键的值被聚集在一起。因此，如果您有大量具有数百万个值的不同数据集，您很可能会遇到 OutOfMemory 异常，即您的 RAM 已满，因此溢出。在我看来，使用reduce side join的优点是：
作者小头像 Donglian Lin
1619
0
0
2021-09-16 13:32:07
999+
0
0
DynamoDB 与 MongoDB：哪一个更能满足您的业务需求？
MongoDB 出现在新闻中已经有一段时间了。自 2009 年推出以来，由于其广泛的功能和强大的多功能性，世界各地的许多公司已经开始使用这种关系数据库管理系统。但即便如此，人们在市场上可用的不同选项之间进行选择时也经常会感到困惑。 
作者小头像 Donglian Lin
2583
0
0
2021-09-14 10:57:24
999+
0
0
什么是数据工程，它适合您吗？
大数据。云数据。AI 训练数据和个人识别数据。数据无处不在，并且每天都在增长。软件工程已经发展到包括数据工程，这是一个直接关注数据的传输、转换和存储的子学科，这才有意义。
作者小头像 Donglian Lin
2266
0
1
2021-09-13 09:01:28
999+
0
1
Python 统计基础：(二)如何描述您的数据
在大数据和人工智能时代，您必须知道如何计算描述性统计量度。现在您已准备好深入了解数据科学和机器学习的世界！如果您有任何问题或意见，请将它们放在下面的评论部分。
作者小头像 Donglian Lin
1466
0
0
2021-09-08 17:12:18
999+
0
0
Python 统计基础：(一)如何描述您的数据
在大数据和人工智能时代，数据科学和机器学习已经成为许多科技领域必不可少的。处理数据的一个必要方面是能够直观地描述、总结和表示数据。Python 统计库是全面、流行且广泛使用的工具，可帮助您处理数据。
作者小头像 Donglian Lin
2900
0
0
2021-09-08 17:03:53
999+
0
0
Apache Sqoop 教程 - 在 HDFS 和 RDBMS 之间导入/导出数据
需要一种可以从关系数据库导入和导出数据的工具。这就是 Apache Sqoop 诞生的原因。Sqoop 可以轻松地与 Hadoop 集成并从 HDFS 上的关系数据库转储结构化数据，从而补充 Hadoop 的强大功能。
作者小头像 Donglian Lin
1817
0
0
2021-08-16 09:17:11
999+
0
0
MapReduce 教程 – MapReduce 基础知识和 MapReduce 示例
现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部
作者小头像 Donglian Lin
3387
0
0
2021-08-15 13:43:26
999+
0
0
如何设置具有 HDFS 高可用性的 Hadoop 集群
Hadoop 2 中引入了高可用性集群的概念。x 解决 Hadoop 1.x 中的单点故障问题。正如您从我之前的博客中了解到的，HDFS 架构 遵循主/从拓扑，其中 NameNode 充当主守护进程，负责管理其他称为 DataNode 的从节点。这个单一的 Master Daemon 或 NameNode 成为一个瓶颈。虽然，Secondary NameNode 的引入确实防止了我们的数据丢失和减
作者小头像 Donglian Lin
2005
0
0
2021-08-14 10:42:58
999+
0
0
决策树：如何创建完美的决策树？
决策树是一系列相关选择的可能结果的映射。它允许个人或组织根据成本、概率和收益权衡可能采取的行动。 顾名思义，它使用树状决策模型。它们可用于推动非正式讨论或制定算法，以数学方式预测最佳选择。 决策树通常以单个节点开始，该节点分支为可能的结果。这些结果中的每一个都会导致额外的节点，这些节点分支为其他可能性。这使它具有树状形状。
作者小头像 Donglian Lin
1648
0
0
2021-08-14 09:24:39
999+
0
0
总条数：47
  • 1
  • 2
  • 3
  • 4
  • 5
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信