建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
云中间件 主题:428帖子:2230

【中间件最佳实践挑战】第4关任务:使用DMS Kafka优化消费者poll

吃橘子不吃... 2019/12/25 25235

欢迎参加华为云“中间件最佳实践挑战营”!

这是本次挑战营的第4关坚持闯关成功有机会获第五期好礼:码豆/荣耀手环/华为背包等,全通关还有大奖!本期活动截止5月24日。

注意:参与闯关前,请确保已报名加入活动群并领取实践资源,如未入群请添加小助手微信(zhongjianjianxiaoge),回复“中间件”报名入群!

点击这里了解活动详情>>  | 点击这里查看活动FAQ>>

一、  场景介绍

在DMS提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。

 

Kafka队列含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当队列中消息较少或者没有时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。

 

二、  实践指南

(1)领取实践资源:点击这里免费领取1个月Kafka体验规格实例,可用区3/5已售罄,请选择2。

提示:实践活动提供的免费Kafka实例没有开SASL,在配置时需做一定修改,见→FAQ第12条


(2)最佳实践指南:https://support.huaweicloud.com/bestpractice-dms/dms-bp-0312001.html

(3)视频操作演示:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXP021+Self-paced/courseware/062fe309dc964326b06b7e5505fe5e4a/89d814d93c544301a6cb62db0914cc51/

(4)新手入门教学:《Kafka全景实践课


三、  闯关任务

任务一:创建DMS Kafka实例,查看实例详情并截图,截图需包含右上角华为云账号名,并按回帖格式要求在本帖中回帖;

奖励:100码豆(可用于兑换DevCloud会员中心超多奖品);

 

任务二:根据实践指南完成实践操作,将代码截图,将运行结果截图,并按回帖格式要求在本帖中回帖;

奖励:本期闯1关可参与抽取“荣耀手环4 Running版”;闯2关可参与抽取“华为背包”;详见FAQ评奖规则

 

四、  回帖格式

请务必按照以下格式要求进行回帖,否则无法计算奖励:

华为云账号名:XXX(即右上角的字母数字组合ID)

微信昵称:XXX

实践感想:XXX

实践截图:至少包含(a)实例详情截图、(b)代码截图、(c)运行结果截图三张截图。

image.png

image.png

image.png

image.png



各关卡快速入口:

第1关任务:基于API网关的电话号码归属地查询

第2关任务:使用函数工作流服务为图片打水印

第3关任务:使用Redis实现排行榜功能

第4关任务:使用DMS Kafka优化消费者poll

第5关任务:使用CPTS进行电商网站性能测试


回复87

张辉
0 0
2019/12/26 18:26

华为云账号名:zhanghui_china

微信昵称:zhanghui_china

实践感想:kafka需要优化以适应快速消息获取,由于没有启动SASL,所以配置文件将SSL部分都注释掉了

实践截图:


(a)实例详情截图

image.png


(b)代码截图

1.消费者配置文件:

image.png


2.生产者配置文件:

image.png


3.生产者代码:

image.png


4.消费者代码:

image.png



(c)运行结果截图

image.png


可以看出,只有一个线程在Poll,其他两个线程都在sleep.确实节约了资源。


--THE END--

leo888888
0 0
2019/12/26 20:19

华为云账号:leo888888

微信: leo

image.png


image.png



image.png


image.png

cftang
1 0
2019/12/26 21:49

华为云账号名:cftang

微信昵称:cftang8

实践感想:

在网页和APP中常常需要用到榜单的功能,对某个key-value的列表进行降序显示。当操作和查询并发大的时候,使用传统数据库就会遇到性能瓶颈,造成较大的时延。

使用分布式缓存服务(DCS)的Redis版本,可以实现一个商品热销排行榜的功能。它的优势在于:

  • 数据保存在缓存中,读写速度非常快。

  • 提供字符串(String)、链表(List)、集合(Set)、哈希(Hash)等多种数据结构类型的存储。

实践截图:

image.png


吃橘子不吃橘子皮

2020-1-6 09:49

您提供的是任务一的内容,需要提交任务二dms kafka的实践结果哦~
... 展开
oldlei
0 0
2019/12/27 13:08

华为云账号名:oldlei

微信昵称:成雷

实践感想:配置简单,操作方便,速度非常快


黄晶
0 0
2019/12/27 14:31

华为云账号名:hudi112

微信昵称:橙子

实践感想:有一种Kafka消费

实践截图:

(a)实例详情截图

02-01.png

(b)代码截图

02-02.png

(c)运行结果截图


niqiqi
0 0
2019/12/27 14:46

华为云账号名:niqiqi

微信昵称:倪齐齐

实践感想:操作方便快捷,体验友好




lance007
0 0
2019/12/27 16:55
华为云账号名:hw77561225
微信昵称:Lance

实践感想:使用DMS Kafka优化消费者poll

image.png

image.pngimage.png

image.png

晓儿
0 0
2019/12/27 17:03

华为云账号名:cxe_xinnet 

微信昵称:晓儿

实践感想:一波三折,终于成功啦啦啦啦

实践截图:

(a)实例详情截图

image.png

(b)代码截图

image.pngimage.png

(c)运行结果截图

image.png

image.png


终点
0 0
2019/12/27 17:07

华为云账号名:wjxjtu

微信昵称:终点

实践感想:目前还没实际项目中用到kafka,功能中的批量获取,可能对于实时性要求的场景不太适合,不用批量的话,不知道性能如何。




上划加载中
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

吃橘子不吃橘子皮

发帖: 36粉丝: 15

级别 : 版主

发消息 + 关注

发表于2019年12月25日 19:52:21 25235 87
直达本楼层的链接
楼主
显示全部楼层
【中间件最佳实践挑战】第4关任务:使用DMS Kafka优化消费者poll

欢迎参加华为云“中间件最佳实践挑战营”!

这是本次挑战营的第4关坚持闯关成功有机会获第五期好礼:码豆/荣耀手环/华为背包等,全通关还有大奖!本期活动截止5月24日。

注意:参与闯关前,请确保已报名加入活动群并领取实践资源,如未入群请添加小助手微信(zhongjianjianxiaoge),回复“中间件”报名入群!

点击这里了解活动详情>>  | 点击这里查看活动FAQ>>

一、  场景介绍

在DMS提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。

 

Kafka队列含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当队列中消息较少或者没有时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。

 

二、  实践指南

(1)领取实践资源:点击这里免费领取1个月Kafka体验规格实例,可用区3/5已售罄,请选择2。

提示:实践活动提供的免费Kafka实例没有开SASL,在配置时需做一定修改,见→FAQ第12条


(2)最佳实践指南:https://support.huaweicloud.com/bestpractice-dms/dms-bp-0312001.html

(3)视频操作演示:

https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXP021+Self-paced/courseware/062fe309dc964326b06b7e5505fe5e4a/89d814d93c544301a6cb62db0914cc51/

(4)新手入门教学:《Kafka全景实践课


三、  闯关任务

任务一:创建DMS Kafka实例,查看实例详情并截图,截图需包含右上角华为云账号名,并按回帖格式要求在本帖中回帖;

奖励:100码豆(可用于兑换DevCloud会员中心超多奖品);

 

任务二:根据实践指南完成实践操作,将代码截图,将运行结果截图,并按回帖格式要求在本帖中回帖;

奖励:本期闯1关可参与抽取“荣耀手环4 Running版”;闯2关可参与抽取“华为背包”;详见FAQ评奖规则

 

四、  回帖格式

请务必按照以下格式要求进行回帖,否则无法计算奖励:

华为云账号名:XXX(即右上角的字母数字组合ID)

微信昵称:XXX

实践感想:XXX

实践截图:至少包含(a)实例详情截图、(b)代码截图、(c)运行结果截图三张截图。

image.png

image.png

image.png

image.png



各关卡快速入口:

第1关任务:基于API网关的电话号码归属地查询

第2关任务:使用函数工作流服务为图片打水印

第3关任务:使用Redis实现排行榜功能

第4关任务:使用DMS Kafka优化消费者poll

第5关任务:使用CPTS进行电商网站性能测试


网络 Kafka https

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

张辉

发帖: 242粉丝: 156

发消息 + 关注

发表于2019年12月26日 18:26:00
直达本楼层的链接
沙发
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

leo888888

发帖: 0粉丝: 0

发消息 + 关注

发表于2019年12月26日 20:19:50
直达本楼层的链接
板凳
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

cftang

发帖: 9粉丝: 1

发消息 + 关注

发表于2019年12月26日 21:49:00
直达本楼层的链接
地板
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

oldlei

发帖: 4粉丝: 7

发消息 + 关注

发表于2019年12月27日 13:08:30
直达本楼层的链接
5#
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

黄晶

发帖: 0粉丝: 0

发消息 + 关注

发表于2019年12月27日 14:31:40
直达本楼层的链接
6#
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

niqiqi

发帖: 8粉丝: 2

发消息 + 关注

发表于2019年12月27日 14:46:58
直达本楼层的链接
7#
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

lance007

发帖: 0粉丝: 0

发消息 + 关注

发表于2019年12月27日 16:55:07
直达本楼层的链接
8#
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

晓儿

发帖: 0粉丝: 0

发消息 + 关注

发表于2019年12月27日 17:03:07
直达本楼层的链接
9#
显示全部楼层
此帖仅作者可见
评论 举报

采纳成功

您已采纳当前回复为最佳回复

终点

发帖: 0粉丝: 0

发消息 + 关注

发表于2019年12月27日 17:07:08
直达本楼层的链接
10#
显示全部楼层
此帖仅作者可见
评论 举报

游客

您需要登录后才可以回帖 登录 | 立即注册