云搜索服务CSS使用介绍
【摘要】 云搜索服务（Cloud Search Service CSS），分布式搜索引擎服务，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。CSS服务创建的Elasticsearch集群自带Kibana和Cerebro组件，支持一键打开，快速访问Elasticsearch集群。云搜索服务是华为云ELK生态的一系列软件集合。Elasticsearch、OpenSea...
云搜索服务（Cloud Search Service CSS），分布式搜索引擎服务，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。
CSS服务创建的Elasticsearch集群自带Kibana和Cerebro组件，支持一键打开，快速访问Elasticsearch集群。
云搜索服务是华为云ELK生态的一系列软件集合。
Elasticsearch、OpenSearch是开源搜索引擎。
Logstash是一个开源的数据收集引擎，具有实时管道功能，并且可以进行标准化的转换。
云搜索服务用于全场景日志分析：Kafka作为消息缓冲队列，用于削峰填谷，Logstash负责数据ETL，Elasticsearch负责数据检索与分析，最后由Kibana以可视化的方式呈现给用户。
CSS是分布式的，但是可以只建立一个节点的ES集群。最低收费0.9元/小时（其它区域不一定有此规格在售）。
logstash集群可以创建，但是一般要使用它的模板，并且输入文件的位置不能放在logstash集群本身（CSS属于SaaS，所以节点不允许ssh登录后台）。所以自己创建一台ECS，手工配置logstash来使用，下载linux版本解压即可使用，配置最小1C2G，如果是1G内存跑不起来。
关于日志文件中的时间戳：中国位于 UTC+8 时区。Elasticsearch 本身不存储时区信息，它只存储 UTC 时间。所以通过Logstash导入到es里面后，你可以看到时间有8个小时的差异。可以在 Kibana 用户设置中指定时区（默认是跟随浏览器的配置），这样ES存储是UTC，但kibana展示的是本地时间。但在写KQL等过滤表达式时，时间还是要使用UTC时间。
日志导入的检查：logstash导入完成后，到kibana的index management > indices 查看index ，检查total documents的数量，和日志行数是否一致。是否有发生某些日志未导入的情况。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
黄生2024/08/08 06:34:451楼编辑删除举报
input {
file {
path => "/root/log/xxmodule-2024-07-2*.log" # 替换为您的日志文件路径
start_position => "beginning"
sincedb_path => "/dev/null" # 如果需要每次都从头开始读取，可以这样做
type => "java-app-logs"
}
}
filter {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} \[%{DATA:thread}\] \[%{DATA:uuid}\] %{LOGLEVEL:loglevel} %{GREEDYDATA:classname} - %{GREEDYDATA:message}" }
overwrite => ["message"]
}
date {
match => ["timestamp", "ISO8601"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => ["192.168.0.211:9200"] # 替换为您的Elasticsearch地址
index => "java-app-logs-%{+YYYY.MM.dd}"
document_type => "_doc"
}
}