centos7 利用elasticsearch、logstash、kibana、filebeat 搭建 日志收集框架(非常详细)

一、前提准备

（1）下载 elasticsearch、logstash、kibana、filebeat 的压缩包,并将 四个压缩包上传到  /opt/elk 目录下

 （2）修改系统参数、创建elk 用户（es 需要用 普通用户启动）

确保系统有足够资源启动ES

设置内核参数

  

   

    

     

    
    

     

      vi /etc/sysctl.conf
     
    
   

    

     

    
    

     

      # 增加以下参数
     
    
   

    

     

    
    

     

      vm.max_map_count=655360
     
    
  
 

执行以下命令，确保生效配置生效：

sysctl -p
 

设置资源参数

  

   

    

     

    
    

     

      vi /etc/security/limits.conf
     
    
   

    

     

    
    

     

      # 修改
     
    
   

    

     

    
    

     

      * soft nofile 65536
     
    
   

    

     

    
    

     

      * hard nofile 131072
     
    
   

    

     

    
    

     

      * soft nproc 65536
     
    
   

    

     

    
    

     

      * hard nproc 131072
     
    
  
 

设置用户资源参数

  

   

    

     

    
    

     

      vi /etc/security/limits.d/20-nproc.conf
     
    
   

    

     

    
    

     

      # 设置elk用户参数
     
    
   

    

     

    
    

     

      elk soft nproc 65536
     
    
  
 

添加启动用户，设置权限

  

   

    

     

    
    

     

      useradd elk #创建用户elk
     
    
   

    

     

    
    

     

      groupadd elk #创建组elk
     
    
   

    

     

    
    

     

      useradd elk -g elk #将用户添加到组
     
    
   

    

     

    
    

     

      
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 修改文件所有者
     
    
   

    

     

    
    

     

      chown -R elk:elk /opt/elk
     
    
  
 

 二、修改 es 的配置文件

 vim jvm.options 

  

   

    

     

    
    

     

      #修改jvm启动参数，默认es启动占用2G内存，根据情况设置适当的内存
     
    
   

    

     

    
    

     

      -Xms256m
     
    
   

    

     

    
    

     

      -Xmx256m
     
    
  
 

 vim elasticsearch.yml 

  

   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # ---------------------------------- Cluster -----------------------------------
     
    
   

    

     

    
    

     

      cluster.name: es-server
     
    
   

    

     

    
    

     

      # ------------------------------------ Node ------------------------------------
     
    
   

    

     

    
    

     

      node.name: node-1
     
    
   

    

     

    
    

     

      node.attr.rack: r1
     
    
   

    

     

    
    

     

      # ----------------------------------- Paths ------------------------------------
     
    
   

    

     

    
    

     

      #path.data: /path/to/data
     
    
   

    

     

    
    

     

      #
     
    
   

    

     

    
    

     

      # Path to log files:
     
    
   

    

     

    
    

     

      #
     
    
   

    

     

    
    

     

      #path.logs: /path/to/logs
     
    
   

    

     

    
    

     

      # ---------------------------------- Network -----------------------------------
     
    
   

    

     

    
    

     

      network.host: 192.168.42.112
     
    
   

    

     

    
    

     

      http.port: 9200
     
    
  
 

三、修改kibana 的配置文件

    vim kibana.yml

  

   

    

     

    
    

     

      server.port: 5601
     
    
   

    

     

    
    

     

      server.host: "192.168.42.112"
     
    
   

    

     

    
    

     

      elasticsearch.url: "http://192.168.42.112:9200"
     
    
   

    

     

    
    

     

      kibana.index: ".kibana"
     
    
  
 

四、修改logstash的配置文件

 vim jvm.options 

  

   

    

     

    
    

     

      #修改jvm启动参数，默认es启动占用2G内存，根据情况设置适当的内存
     
    
   

    

     

    
    

     

      -Xms256m
     
    
   

    

     

    
    

     

      -Xmx256m
     
    
  
 

cd config

vim dev.conf

  

   

    

     

    
    

     

      input {
     
    
   

    

     

    
    

     

        beats {
     
    
   

    

     

    
    

     
 host =>"192.168.42.112"
     
    
   

    

     

    
    

     
 port => "5044"
     
    
   

    

     

    
    

     

        }
     
    
   

    

     

    
    

     

      }
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      filter {
     
    
   

    

     

    
    

     

        grok {
     
    
   

    

     

    
    

     
 match => { "message" => "%{COMBINEDAPACHELOG}" }
     
    
   

    

     

    
    

     

        }
     
    
   

    

     

    
    

     
  date {
     
    
   

    

     

    
    

     
 match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
     
    
   

    

     

    
    

     
 target => ["datetime"]
     
    
   

    

     

    
    

     

        }
     
    
   

    

     

    
    

     
  geoip {
     
    
   

    

     

    
    

     
 source => "clientip"
     
    
   

    

     

    
    

     

        }
     
    
   

    

     

    
    

     

      }
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      output {
     
    
   

    

     

    
    

     

        elasticsearch {
     
    
   

    

     

    
    

     
 hosts => "192.168.42.112:9200"
     
    
   

    

     

    
    

     
 index => "access_log"
     
    
   

    

     

    
    

     

        }
     
    
   

    

     

    
    

     
  stdout { codec => rubydebug }
     
    
   

    

     

    
    

     

      }
     
    
  
 

五、修改filebeat 的配置文件

vim filebeat.yml

  

   

    

     

    
    

     

      #=========================== Filebeat inputs =============================
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      filebeat.inputs:
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # Each - is an input. Most options can be set at the input level, so
     
    
   

    

     

    
    

     

      # you can use different inputs for various configurations.
     
    
   

    

     

    
    

     

      # Below are the input specific configurations.
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      - type: log
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Change to true to enable this input configuration.
     
    
   

    

     

    
    

     
  enabled: true
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Paths that should be crawled and fetched. Glob based paths.
     
    
   

    

     

    
    

     
  paths:
     
    
   

    

     

    
    

     
 - /opt/elk/apache-tomcat-9.0.13/logs/*.log
     
    
   

    

     

    
    

     
 #- c:\programdata\elasticsearch\logs\*
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #================================ Outputs =====================================
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # Configure what output to use when sending the data collected by the beat.
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #-------------------------- Elasticsearch output ------------------------------
     
    
   

    

     

    
    

     

      #output.elasticsearch:
     
    
   

    

     

    
    

     
  # Array of hosts to connect to.
     
    
   

    

     

    
    

     
  # hosts: ["localhost:9200"]
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Optional protocol and basic auth credentials.
     
    
   

    

     

    
    

     
  #protocol: "https"
     
    
   

    

     

    
    

     
  #username: "elastic"
     
    
   

    

     

    
    

     
  #password: "changeme"
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #----------------------------- Logstash output --------------------------------
     
    
   

    

     

    
    

     

      output.logstash:
     
    
   

    

     

    
    

     
  # The Logstash hosts
     
    
   

    

     

    
    

     
  hosts: ["192.168.42.112:5044"]
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Optional SSL. By default is off.
     
    
   

    

     

    
    

     
  # List of root certificates for HTTPS server verifications
     
    
   

    

     

    
    

     
  #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Certificate for SSL client authentication
     
    
   

    

     

    
    

     
  #ssl.certificate: "/etc/pki/client/cert.pem"
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
  # Client Certificate Key
     
    
   

    

     

    
    

     
  #ssl.key: "/etc/pki/client/cert.key"
     
    
  
 

 六、依次 启动 es、kibana、filebeat、logstash

启动es

 su elk
./bin/elasticsearch -d

启动kibana 

 ./bin/kibana

启动 filebeat 

./filebeat -e -c filebeat.yml -d "publish"

 启动 logstash

测试你的配置文件 是否正确（ 解析配置文件并报告任何错误。）

bin/logstash -f dev.conf --config.test_and_exit

启动命令（启用自动配置重新加载，这样就不必每次修改配置文件时都停止并重新启动Logstash ）

bin/logstash -f dev.conf --config.reload.automatic

  七、在kibana中查看 收集到的 日志

文章来源: blog.csdn.net，作者：血煞风雨城2018，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/qq_31905135/article/details/84138652