使用linux搭建单机elk环境
要想落地elk,首先就是安装。本文将提供单机版的elk环境落地供大家参考。集群版请自行查找。
一.版本
本文使用的logstash-7.3.2.tar.gz,搭配使用7.6.0的es,kibana,亲测好用。也可以在点我这里下载。
二.安装elasticsearch
1.下载安装包
由于官网下载太慢了,可以在以下地址下载。点这下载
2.解压
下载完成后,复制进linux并解压。
tar -zxvf elasticsearch-7.6.0-linux-x86_64.tar.gz
3.新建用户
useradd elasticsearch
passwd elasticsearch
chown -R elasticsearch /usr/local/es/elasticsearch-7.6.0 赋权
4.修改配置文件
修改elasticsearch.yml文件。
cluster.name: elasticsearch
node.name: node-1
path.data: /usr/local/elasticsearch/elasticsearch-7.6.0/data
path.logs: /usr/local/elasticsearch/elasticsearch-7.6.0/logs
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
如果需要连接spring boot,需要添加以下配置。
http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
同时在安装时会要求设置密码,如果没有以上配置则不需要。
5.进入elasticsearch用户
su elasticsearch
一定要在该用户下安装。
6.启动
cd /usr/local/es/elasticsearch-7.6.0/bin
./elasticsearch
7.开放端口号
如果发现输入ip:9200还是访问不了,请记住开放端口。
/sbin/iptables -I INPUT -p tcp --dport 9200 -j ACCEPT
8.验证
访问ip:9200,如果出现以下样式,则安装成功。
9.后台启动
./elasticsearch -d
10.异常总结
在博主安装时,出现了无数异常,博主总结成以下文档。所以如果有条件建议使用docker。
1)max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
原因:无法创建本地文件问题,用户最大可创建文件数太小
解决方案:切换到root用户,编辑limits.conf配置文件, 添加类似如下内容:
vi /etc/security/limits.conf
添加如下内容: 注意*不要去掉了
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096
备注:* 代表Linux所有用户名称(比如 hadoop)
需要保存、退出、重新登录才可生效。
2)max number of threads [1024] for user [es] likely too low, increase to at least [4096]
原因:无法创建本地线程问题,用户最大可创建线程数太小
解决方案:同上
3)max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因:最大虚拟内存太小
每次启动机器都手动执行下。
root用户执行命令:
[root@localhost ~]# sysctl -w vm.max_map_count=262144
查看修改结果命令:sysctl -a|grep vm.max_map_count 看是否已经修改
永久性修改策略:
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
4)system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
原因:Centos6不支持SecComp,而ES5.4.1默认bootstravelap.system_call_filter为travelue进行检测,所以导致检测失败,失败后直接导致ES不能启动。
详见 :https://github.com/elastic/elasticsearch/issues/22899
解决方法:在elasticsearch.yml中新增配置
bootstrap.system_call_filter,设为false,注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
5) os::commit_memory(0x00000000c5330000, 986513408, 0) failed;
vi ../config/jvm.options
修改
-Xms256m
-Xmx256m
6)future versions of Elasticsearch will require Java 11; your Java version from [/usr/local/jdk/jdk1.8.0_231/jre] does not meet this requirement
不用管 会向下兼容
7)es:ccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SEC
/usr/local/es/elasticsearch-7.6.0/config/elasticsearch.yml追加
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
三.安装kibana
1.下载
同上。
2.解压
同上。
tar -zxvf kibana.tar.gz
3.修改配置
修改 /usr/local/kibana/kibana-7.6.0-linux-x86_64/config/kibana.yml。
i18n.locale: "zh-CN" #汉化
server.port: 5601
server.host: 0.0.0.0
如果上文es开启了xpack,需要加入以下配置。
elasticsearch.username: "elastic"
elasticsearch.password: "xxxx"
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"
4.赋权
因为需要使用非root用户启动,所以需要赋权。
chown -R elasticsearch /usr/local/kibana
5.开通端口
/sbin/iptables -I INPUT -p tcp --dport 5601 -j ACCEPT
6.后台运行
nohup ./kibana &
7.验证
访问ip:5601,如果出现下文样式,则安装成功。
四.安装logstash
1.下载
logstash可以在博主网盘中获取到。地址如下。
链接:https://pan.baidu.com/s/1izhfHnMlaHuSHm6q8rReAQ
提取码:t8ws
2.解压
tar -zxvf logstash-7.3.2.tar.gz
3.更改配置文件
在/logstash/bin目录下新建log_to_es.conf,(文件名随意,启动命令需要)并添加以下配置(配置仅用于测试) 。
input {
file {
path => "/var/log/messages" 监控的该路径的文件 并且输入到es中
type => "systemlog"
start_position => "beginning"
}
}
output{
elasticsearch{
hosts=>["192.168.xx.xx:9200"] es地址 默认端口号为9200
index => "log-%{+YYYY.MM.dd}" 新增的索引格式
}
stdout{codec => rubydebug}
}
4.启动
nohup ./logstash -f log_to_es.conf & 后台启动
./logstash -f log_to_es.conf & 如果需要看到日志 使用这种方式
5.验证
出现如图 message为上文/var/log/messages路径中的文件内容,则安装成功。
注意:如果已经输出过。需要新增文档内容才能继续输出
五.ik分词器安装
1.下载
由于下载太慢了,直接上网盘地址。
链接:https://pan.baidu.com/s/1n2m_LeIz1T7DrJdSsvvMFA
提取码:16mz
2.解压
解压到elasticsearch/elasticsearch-7.6.0/plugins路径下。
3.重启elasticsearch
4.验证
使用kibana执行以下语句。
GET _analyze?pretty
{
"analyzer": "ik_max_word",
"text": "我吃西红柿"
}
如果出现以下效果,则安装成功。
- 点赞
- 收藏
- 关注作者
评论(0)