云社区 存储
# 存储 #
大数据实践解析（下）：Spark的读写流程分析
本文通过简单的例子来解析，大数据实践中的Spark读写流程，内容主要聚焦于Spark中的高效并行读写以及在写过程中如何保证事务性。
作者小头像 hzjturbo
12740
1
5
KubeFlow-Pipeline及Argo实现原理速析
Argo是一个开源原生容器工作流引擎用于在Kubernetes上开发和运行应用程序。KubeFlow的Pipeline子项目，由Google开源，其全面依赖Argo作为底层实现，并增强持久层来补充流程管理能力，同时通过Python-SDK来简化流程的编写。
作者小头像 tsjsdbd
11608
1
2
解密TaurusDB存储端高并发之线程池
为了能加快相关任务的高效执行，TaurusDB采用多线程技术处理的方式，增加处理器单元的吞吐能力，从而提高存储端的执行效率。
作者小头像 ADG
9561
2
2
Apache CarbonData 2.0 开发实用系列之一：与Spark SQL集成使用
Apache CarbonData 是一个支持索引和物化视图的ACID数据湖，在5月初正式发布了2.0 RC2，这个版本在索引、物化视图、数据湖能力、ACID等方面均有增强。接下来给大家带来关于Spark SQL集成使用开发实用系列教程。
作者小头像 david_caiqiang
8532
1
3
大数据实践解析（上）：聊一聊spark的文件组织方式
在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。Spark针对不同的用户/开发者，支持了多种数据文件存储方式。
作者小头像 hzjturbo
11386
4
6
Taurus2.0垃圾回收compactor优化方案
TaurusDB是一种基于MySQL的计算与存储分离架构的云原生数据库。Compator主要用来清理plog中过期的page，Compactor的任务需要频繁访问内存中索引结构和读写plog中的page页， Compactor的优化方案主要围绕减少内存访问和磁盘I/O。
作者小头像 LuckStill
9933
0
0
《手把手教你设计CPU——RISC-V处理器》终于出版！
在摩尔定律减缓的今天，一味比拼硬件性能的技术竞赛变得越发艰难。然而性能提升的最终目的是满足应用，如何在现有的能力下最大程度地满足数以千万计的不同应用的需求，就成了当今处理器行业要面对的重要问题。RISC-V站在了时代的风口，其作为一种开源架构的出现必将对芯片产业产生深远的影响。硬件芯片的开源不再是一个噱头，而是变成了一种刚需。蜂鸟E200作为中国本土较早开源的RISC-V芯片，也将对国内的相...
作者小头像 feichaiyu
8667
0
0
专访Josh Wills：从数学到编程，如何成为更好的程序员？
鉴于在少年时代着迷于微积分，长大后的Josh Wills前往杜克大学选修了理论数学专业。在大学的最后一年，他认识了统计学这样一个学科，虽然比起偏微分方程，Josh更喜欢后者，但他确实在那一刻起就喜欢上了这一个学科。在那之后，Josh去过IBM一小段时间，然后去得州大学奥斯汀分校成为一名运筹学研究方向的博士，主要研究内容是解决NP-难的问题。在那之后，他便进入了初创公司领域，在Zilliant...
作者小头像 Tracy
8379
0
0
浅谈EC和多副本
对于存储用户而言，存储系统的可靠性、性能、成本，是用户非常关注的几个方面。在传统的存储中，大多是采用RAID的方式，来保证数据的高可靠性；而在分布式存储系统中，多副本和EC(Erasure Code)是比较常见的数据保护方法。本文简单介绍多副本和EC概念、原理和优势对比等
作者小头像 风中有朵犇犇云
19794
0
2
崩溃一致性：你的程序真的正确保存了数据吗？
这篇文章科普了崩溃一致性的话题
作者小头像 霁月
7369
0
0
总条数：16
到第页
热门标签