云搜索服务CSS使用介绍
云搜索服务(Cloud Search Service CSS),分布式搜索引擎服务,支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。
CSS服务创建的Elasticsearch集群自带Kibana和Cerebro组件,支持一键打开,快速访问Elasticsearch集群。
云搜索服务是华为云ELK生态的一系列软件集合。
Elasticsearch、OpenSearch是开源搜索引擎。
Logstash是一个开源的数据收集引擎,具有实时管道功能,并且可以进行标准化的转换。
云搜索服务用于全场景日志分析:Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。
CSS是分布式的,但是可以只建立一个节点的ES集群。最低收费0.9元/小时(其它区域不一定有此规格在售)。
logstash集群可以创建,但是一般要使用它的模板,并且输入文件的位置不能放在logstash集群本身(CSS属于SaaS,所以节点不允许ssh登录后台)。所以自己创建一台ECS,手工配置logstash来使用,下载linux版本解压即可使用,配置最小1C2G,如果是1G内存跑不起来。
关于日志文件中的时间戳:中国位于 UTC+8 时区。Elasticsearch 本身不存储时区信息,它只存储 UTC 时间。所以通过Logstash导入到es里面后,你可以看到时间有8个小时的差异。可以在 Kibana 用户设置中指定时区(默认是跟随浏览器的配置),这样ES存储是UTC,但kibana展示的是本地时间。但在写KQL等过滤表达式时,时间还是要使用UTC时间。
日志导入的检查:logstash导入完成后,到kibana的index management > indices 查看index ,检查total documents的数量,和日志行数是否一致。是否有发生某些日志未导入的情况。
- 点赞
- 收藏
- 关注作者
评论(0)