作者小头像 Lv.3
更多个人资料
173 成长值
0 关注
5 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
170
3
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
上新！MRS集成Hudi
Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
EI企业智能 Hive MapReduce MapReduce服务 MRS 智能数据
作者小头像 数据湖爱好者 2021-07-29 11:52:28
10173
0
0
2021-07-29 11:52:28
999+
0
0
mockito——让你轻松地进行单元测试的强大工具
相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题：如何测试一个rest接口；如何测试一个包含客户端调用服务端的复杂方法；如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。Mockito是啥？Mockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外...
EI企业智能 Scala 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-07-13 16:18:43
16808
0
0
2021-07-13 16:18:43
999+
0
0
Antlr4-解析顺序
 Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。上次说到Antlr4的解析方式，是从上至下的递归下降的语法分析方式，这次我们具体看一下其解析的顺序与方式。首先，我们可以先创建如下语法文件。grammar Hello2;             ...
EI企业智能 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-06-24 17:33:32
8943
0
0
2021-06-24 17:33:32
999+
0
0
【DLI】Flink作业推荐配置指导
用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
EI企业智能 Flink 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-27 10:25:01
4906
0
0
2021-05-27 10:25:01
999+
0
0
【DLI】Flink作业重启后，如何保证不丢失数据？
DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，...
EI企业智能 Flink 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-27 09:58:38
10118
0
0
2021-05-27 09:58:38
999+
0
0
MySQL性能优化——执行计划分析
一、执行计划是什么，有什么作用SQL语句在数据库中，经过SQL解析器时，解析器会分析SQL语句，并根据索引等信息，制定数据查询的步骤顺序。我们可以通过在SQL语句前添加 EXPLAIN关键字来输出执行计划。通过分析执行计划，我们可以了解到：SQL的索引使用情况。连接查询的执行顺序。查询扫描的数据函数。二、SQL执行顺序分析在了解执行计划之前，首先要清楚数据库SQL的执行顺序。SQL书写顺序：...
EI企业智能 MySQL SQL 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-20 10:36:36
8046
0
0
2021-05-20 10:36:36
999+
0
0
【DLI常见问题】如何随时查看DLI队列使用情况判断队列购买需求——查看DLI队列负载
场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
EI企业智能 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-13 15:46:17
8075
0
0
2021-05-13 15:46:17
999+
0
0
如何避免Spark SQL做数据导入时产生大量小文件
​01什么是小文件？生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。02小文件问题的影响一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件系统的元数据镜像，用户...
EI企业智能 Hadoop spark 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-13 15:40:29
11072
0
0
2021-05-13 15:40:29
999+
0
0
Sleuth链路追踪学习与分享
Sleuth链路追踪学习与分享 微服务架构带来的一些思考​ 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候...
EI企业智能 分布式 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-13 15:31:25
4707
0
0
2021-05-13 15:31:25
999+
0
0
基于负载的资源智能扩缩容
数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
EI企业智能 容器 数据湖探索 DLI 智能数据
作者小头像 数据湖爱好者 2021-05-12 15:09:20
4512
0
0
2021-05-12 15:09:20
999+
0
0
总条数：17
10
10
20
50
100
  • 1
  • 2

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信