云原生数据湖 MapReduce Service

云原生数据湖MRS为客户提供Hudi、ClickHouse、Spark、Flink、HBase等Hadoop生态的高性能大数据组件,助力客户释放海量数据价值,让业务洞见更准,价值兑现更快。

  • 一站式大数据分析平台

    提供Kafka、Flink、Spark、HBase、ClickHouse等全栈大数据引擎,支持数据湖、数据仓库、BI、AI融合,助力客户走向融合的一站式大数据平台。

    提供Kafka、Flink、Spark、HBase、ClickHouse等全栈大数据引擎,支持数据湖、数据仓库、BI、AI融合,助力客户走向融合的一站式大数据平台。

  • 完全兼容开源

    100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动。

    100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动。

  • 资源灵活弹性伸缩

    资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本。

    资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本。

  • 企业级运维管理

    可视化的企业级集群管理系统,精细化业务指标查看,支持在线变更配置,保障业务不中断,支持运行日志在线检索。

    可视化的企业级集群管理系统,精细化业务指标查看,支持在线变更配置,保障业务不中断,支持运行日志在线检索。

MapReduce二次开发应用实战

MRS提供了各组件的应用开发操作流程、样例工程及代码介绍,专供需要进行业务应用开发的并具备Java开发经验的开发人员参考使用。

获取样例工程

您可以通过华为开源镜像站获取样例工程并配置Maven,然后根据业务需求进行应用开发。

了解更多

HDFS文件操作应用开发

基于代码样例进行HDFS目录的创建、文件的读写、文件权限策略设置等操作。

Flink读取Kafka应用开发

Flink样例工程,基于某些业务要求,开发的Flink应用程序实现功能,实时输出带有前缀的消息内容。

HBase表应用开发

开发一个HBase表应用程序,用于管理企业用户信息。

Spark Streaming对接Kafka0-10应用开发

基于业务要求,开发Spark应用程序实现实时累加计算每个单词的记录总数的功能。

ClickHouse应用开发

使用ClickHouse的样例进行库或表的创建、数据的插入或查询、建立连接等操作。