解决发送数据到kafka效率低下的问题
【摘要】
image.png
错误，注释掉速度非常快
image.png
image.png
这个错误很常见
image.png
创建producer的是在driver端创建，但是foreach具体执行的时候在executor,
封装的对象发送到executor不能被序列化，所以不能使用。
image.png
解决思路：把p...
image.png
错误，注释掉速度非常快
image.png
image.png
这个错误很常见
image.png
image.png
image.png
用到了 懒加载，方法回调有点抽象。
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
优化思路:
- 我们可以自定义对象实现序列化,这样就可以将对象广播出去,因为KafkaProducer不能被序列化
- 我们的自定义对象需要接收一个能返回KafkaProducer对象的函数
返回KafkaProducer对象的函数的返回值需要用lazy修饰
文章来源: www.jianshu.com，作者：百忍成金的虚竹，版权归原作者所有，如需转载，请联系作者。
原文链接：www.jianshu.com/p/927b1fb45a8c
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）