云社区 博客 博客详情
云社区 博客 博客详情

Elasticsearch索引增量统计及定时邮件实现

代码写的挺明白 发表于 2020-08-03 18:59:58 08-03 18:59
代码写的挺明白 发表于 2020-08-03 18:59:58 2020/08/03
0
0

【摘要】 0、需求随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。如何以相对简单的图形化效果展示数据的增量呢?本文给出思路和实现。1、问题分解1.1ES集群的数据量统计ES自带的命令行统计举例:curl'localhost:920...

0、需求
随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。
如何以相对简单的图形化效果展示数据的增量呢?
本文给出思路和实现。

1、问题分解
1.1 ES集群的数据量统计
ES自带的命令行统计举例:

curl 'localhost:9200/_cat/indices?v'

1.2 如何实现增量?
简化思路:
1)每天的固定时间,如早晨00:00统计一次当天的数据量,形成日志文件存储如:20180228-00:00.log
2)20180228的增量为:20180229-00:00.log的数据值-20180228-00:00.log的数据量。(下一天-前一天)

1.3 如何实现统计
简化思路:
1)shell脚本获取每天统计的数据量
2)Excel公式简单计算增量

1.4 如何实现定时邮件统计
简化思路:
1)java + 邮件程序 + 读取脚本实现。
2)crontab实现定时任务处理。

2、具体实现
2.1 单日数据量统计
Elasticsearch索引增量统计及定时邮件实现

返回结果如下:
Elasticsearch索引增量统计及定时邮件实现

2.2 Java读取Shell脚本
Elasticsearch索引增量统计及定时邮件实现

2.3 增量数据统计
步骤1:单日数据统计。
Elasticsearch索引增量统计及定时邮件实现
步骤2:增量数据统计。
Elasticsearch索引增量统计及定时邮件实现
步骤1,步骤2数据可以Excel统计得出。

其中单日数据的拷贝shell脚本如下:
Elasticsearch索引增量统计及定时邮件实现

步骤3:Excel生成图表。
Elasticsearch索引增量统计及定时邮件实现

3、难点

4、小结
通过shell脚本+Excel数据统计,简单实现了数据增量可视化。
通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。
可以,在此基础上,做更多的扩展应用,比如:

1)集群监控状态监控;

2)集群堆内存使用监控;

3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。

文章来源: blog.51cto.com,作者:铭毅天下,版权归原作者所有,如需转载,请联系作者。

原文链接:https://blog.51cto.com/14886891/2516004

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您没有权限执行当前操作

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消