云搜索服务CSS使用介绍

举报
黄生 发表于 2024/07/26 17:52:47 2024/07/26
【摘要】 云搜索服务(Cloud Search Service CSS),分布式搜索引擎服务,支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。CSS服务创建的Elasticsearch集群自带Kibana和Cerebro组件,支持一键打开,快速访问Elasticsearch集群。云搜索服务是华为云ELK生态的一系列软件集合。Elasticsearch、OpenSea...

云搜索服务(Cloud Search Service CSS),分布式搜索引擎服务,支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。
CSS服务创建的Elasticsearch集群自带Kibana和Cerebro组件,支持一键打开,快速访问Elasticsearch集群。

云搜索服务是华为云ELK生态的一系列软件集合。

Elasticsearch、OpenSearch是开源搜索引擎。

Logstash是一个开源的数据收集引擎,具有实时管道功能,并且可以进行标准化的转换。

云搜索服务用于全场景日志分析:Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。

CSS是分布式的,但是可以只建立一个节点的ES集群。最低收费0.9元/小时(其它区域不一定有此规格在售)。

logstash集群可以创建,但是一般要使用它的模板,并且输入文件的位置不能放在logstash集群本身(CSS属于SaaS,所以节点不允许ssh登录后台)。所以自己创建一台ECS,手工配置logstash来使用,下载linux版本解压即可使用,配置最小1C2G,如果是1G内存跑不起来。

关于日志文件中的时间戳:中国位于 UTC+8 时区。Elasticsearch 本身不存储时区信息,它只存储 UTC 时间。所以通过Logstash导入到es里面后,你可以看到时间有8个小时的差异。可以在 Kibana 用户设置中指定时区(默认是跟随浏览器的配置),这样ES存储是UTC,但kibana展示的是本地时间。但在写KQL等过滤表达式时,时间还是要使用UTC时间。

日志导入的检查:logstash导入完成后,到kibana的index management > indices 查看index ,检查total documents的数量,和日志行数是否一致。是否有发生某些日志未导入的情况。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。