Elasticsearch&Kibana保姆级部署及配置手册

举报
架构师聊技术 发表于 2021/10/21 11:13:00 2021/10/21
【摘要】 这是给客户的系统优化时做的笔记,先分享出来希望对有需要的同行有些帮助,如果在安装或者使用过程中遇到问题,也可以留言交流,Elasticsearch&Kibana保姆级部署及配置手册。

一、版本说明

序号 名称 版本
1 elasticsearch 7.13.2-x86_64.rpm
2 kibana 7.13.2-x86_64.rpm
3 jdk 1.8.0_262

二、Elasticsearch 安装

  1. 到官方网站对应的版本或者到我整理的网盘下载部署的包文件

    链接:https://pan.baidu.com/s/1kYwwT7cFYQGRVqMfu0Fv_Q 
    提取码:g7c3
    
  2. 把下载的文件上传到服务器相应的文件目录,如:/home/iacl/

  3. 创建Elasticsearch存储目录(可修改目录路径)

    mkdir -p /data/elk/es/{data,logs}
    
  4. 执行安装命令

    sudo rpm --install /home/iacl/elasticsearch-7.13.2-x86_64.rpm
    sudo systemctl enable elasticsearch.service
    
  5. 修改配置文件参数,主要修改存储路径、访问端口号、及内存大小限制

    • 默认elasticsearch.yml路径
    /etc/elasticsearch/elasticsearch.yml
    

    主要参数修改如下

    # 节点名称
    node.name: node-1
    # 数据文件存放路径
    path.data: /data/elk/es/data
    # 日志文件
    path.logs: /data/elk/es/logs
    # 设置为0.0.0.0,对bind_host和publish_host两个参数有效
    network.host: 0.0.0.0
    # 端口号
    http.port: 39200
    # 设置在集中的名称
    cluster.initial_master_nodes: ["node-1"]
    # 禁用xpack认证
    xpack.security.enabled: false
    
    • 修改内存大小,默认jvm.options路径
    /etc/elasticsearch/jvm.options
    

    主要参数修改如下

    ## 最小内存
    -Xms8g
    ## 最大内存
    -Xmx8g
    
  6. 启动elasticsearch

    # 启动ES服务
    systemctl start elasticsearch
    # 停止ES服务
    systemctl stop  elasticsearch
    # 查看ES服务状态
    systemctl status elasticsearch  
    
  7. 访问 http://IP:39200 39200为配置文件中配置的端口号,如果出现如下结果,则elasticsearch安装成功

三、Kibana 安装

  1. 到官方网站对应的版本或者到我整理的网盘下载部署的包文件

    链接:https://pan.baidu.com/s/1kYwwT7cFYQGRVqMfu0Fv_Q 
    提取码:g7c3
    
  2. 把下载的文件上传到服务器相应的文件目录,如:/home/iacl/

  3. 执行安装命令

    sudo rpm --install kibana-7.13.2-x86_64.rpm
    # 设置开机启动
    sudo systemctl enable kibana.service
    
  4. 修改配置文件参数,主要修改存储路径、访问端口号、及内存大小限制

    • 默认kibana.yml路径
    /etc/elasticsearch/kibana.yml
    

    主要参数修改如下

    # 端口号
    server.port: 35601
    server.host: 0.0.0.0
    # elasticsearch地址
    elasticsearch.hosts: ["http://127.0.0.1:39200"]
    
  5. 启动kibana

    # 启动kibana服务
    systemctl start kibana
    # 停止kibana服务
    systemctl stop  kibana
    # 查看kibana服务状态
    systemctl status kibana  
    
  6. 访问 http://IP:35601 35601为配置文件中配置的端口号,如果出现如下结果,则35601安装成功

四、Elasticsearch 索引创建

  1. 打开Kibana页面,找到Dev Tools页面,然后执行一下创建索引语句

    PUT idx_log
    {
       "settings":{
         "max_result_window": "5000000",
         "index" : {
          "number_of_shards" : 3,
          "number_of_replicas" : 0
          }
        },
        "mappings": {
            "properties": {
              "action": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "cost": {
                "type": "long"
              },
              "detail": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "gmtCreate": {
                "type": "date",
                "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
              },
              "id": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "module": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "object": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "requestIp": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "requestModule": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "responseIp": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "result": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "tenantId": {
                "type": "long"
              },
              "userId": {
                "type": "long"
              },
              "username": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              }
            }
        }
      }
    
  2. 如果执行结果返回如下信息,说明索引常见成功

    {
      "acknowledged" : true,
      "shards_acknowledged" : true,
      "index" : "idx_accesslog"
    }
    

五、Kibana 查看数据

  1. 转到 Index Patterns->Create index pattern 栏目下,在Index pattern name中输入idx_accesslog,只要匹配到在elasticsearch中创建的索引即可

  1. 然后转到discover栏目查看存入elasticsearch的数据

六、程序配置

​ 修改项目的application.properties配置文件,添加如下配置

#elasticsearch Configuration
spring.es.host=192.168.56.5
spring.es.port=39200
spring.es.scheme=http
#是否启用es,可以设置db、es两种类型,默认为db
log.route.path=es

七、注意事项

  1. 需要提前安装java环境,建议安装 1.8.0_262 版本
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。