Data Intelligence Modeler里的Kafka Producer和Kafka Consumer

举报
汪子熙 发表于 2022/03/31 22:24:38 2022/03/31
【摘要】 首先本地将kafka的docker容器镜像下载到本地并运行:docker search kafkadocker pull spotify/kafkadocker run --name kafka3 spotify/kafkadocker ps命令,查看tcp端口号:新建一个graph,使用典型的生产者-消费者模型:将Data Generator生成的数据交给kafka Producer op...

首先本地将kafka的docker容器镜像下载到本地并运行:

docker search kafka

docker pull spotify/kafka

docker run --name kafka3 spotify/kafka

docker ps命令,查看tcp端口号:

新建一个graph,使用典型的生产者-消费者模型:将Data Generator生成的数据交给kafka Producer operator;

而Kafka Consumer从kafka producer里读取出data Generator生成的数据,通过ToString converter,输出到Terminal Operator上。


kafka producer和consumer使用的broker和topic必须一致:


运行graph,可以看到


假设我想使用浏览器访问这个处于运行状态的Graph实例:

将其Runtime handle抄下来:
43d854735c3b48a0b786905154c44817

https://vsystem.ingress.dh-l5uukgih.dhaas-live.shoot.live.k8s-hana.ondemand.com/app/pipeline-modeler/service/v1/graphs/43d854735c3b48a0b786905154c44817/operator/httpserver1/objects/1

即可在浏览器里访问了:

试图使用postman访问SAP Data Intelligence graph API时,遇到401 unauthorized的错误:
no authentication means found

API url:https://vsystem.ingress.dh-l5uukgih.dhaas-live.shoot.live.k8s-hana.ondemand.com/app/pipeline-modeler/service/v1/graphs/20180aa4240340e6b9804b295e789eaa/operator/httpserver1/objects/1

取得Access Token的方法:

使用这个login API endpoint:
https://vsystem.ingress.dh-l5uukgih.dhaas-live.shoot.live.k8s-hana.ondemand.com/auth/login
注意user name的规范是tenant的名称加反斜杠加用户名。

返回的payload:

从返回的Cookie字段里获得Access Token:

然后在get API里就能anzhao Bearer
Token的方式使用这个token了:

使用HTTP GET访问SAP Data Intelligence graph API时,遇到500 internal server error的错误:

返回SAP Data Intelligence Modeler,发现graph实例执行状态处于Dead:


找到具体引起错误的process:Object Store

下载diagnosis information找到错误根源:Graph failure: SyntaxError: unexpected end of JSON input

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。