建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复
更新于2020年10月09日 14:43:33 562 1
直达本楼层的链接
楼主
显示全部楼层
[技术干货] Logstash-7.8.0-银河麒麟Kylin V10 B06-移植指导书

1 软件介绍

LogstashELK Stack解决方案的一部分,整个解决方案由ElasticsearchKibanaBeats Logstash组成,是一套实时数据收集,存储,索引,检索,统计分析及可视化的解决方案。最新版本已经改名为Elastic Stack,并新增了Beats项目。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架,很多时候我们简称ElasticsearchesLogstashELK的中央数据流引擎,用于从不同目标(文件/数据存储/MQ)收集的不同格式数据,经过过滤后支持输出到不同目的地(文件/MQ/redis/elasticsearch/kafka等)。Kibana可以将elasticsearch的数据通过友好的页面展示出来,提供实时分析的功能。

 

2 环境要求

2.1 硬件平台

2-1 服务器硬件配置

名称

描述

Taishan 200 2280

1

处理器

Kunpeng920 4826

内存

16*32G 2666

系统盘

1.2T

 

2.2 软件环境

 

2-2 软件环境

名称

描述

获取地址

操作系统

Kylin V10 Build06.12.04


AdoptOpenJDK

12

https://github.com/AdoptOpenJDK/openjdk12-binaries/releases/download/jdk12u-2019-11-21-10-04/OpenJDK12U-jdk_aarch64_linux_hotspot_2019-11-21-10-04.tar.gz

 

Logstash

7.8.0

https://www.elastic.co/cn/downloads/past-releases/logstash-7-8-0

 


3 前置条件

(1)     预装Kylin V10操作系统

(2)     配置网络环境IP,例如:10.X.X.199

  

4 获取软件包

 

步骤 1 创建普通用户elastic,加入sudo权限,并切换普通用户elastic目录下。

[root@localhost ~]# useradd elastic

[root@localhost ~]# echo "elastic ALL=(ALL) ALL" >> /etc/sudoers

[root@localhost ~]# su - elastic

 

步骤 2 下载logstash软件包。

[elastic@localhost ~]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.tar.gz

 

 

5 安装依赖

 

配置JDK 12

 

步骤 1 配置JDK环境变量。

[elastic@localhost ~]$ wget https://github.com/AdoptOpenJDK/openjdk12-binaries/releases/download/jdk12u-2019-11-21-10-04/OpenJDK12U-jdk_aarch64_linux_hotspot_2019-11-21-10-04.tar.gz

[elastic@localhost ~]$ tar -xvf OpenJDK12U-jdk_aarch64_linux_hotspot_2019-11-21-10-04.tar.gz

[elastic@localhost ~]$ export JAVA_HOME=/home/elastic/jdk-12.0.2+10

[elastic@localhost ~]$ export PATH=$JAVA_HOME/bin:$PATH

[elastic@localhost ~]$ java -version

image.png

    

 

6 软件部署

 

部署Logstash

 

步骤 1 解压Logstash软件包。

[elastic@localhost ~]$ tar -xvf logstash-7.8.0.tar.gz

[elastic@localhost ~]$ cd logstash-7.8.0/

[elastic@localhost logstash-7.8.0]$ vi fix.sh

#!/usr/bin/bash

STARTDIR=$(pwd)

JARDIR="/home/elastic/logstash-7.8.0/logstash-core/lib/jars"     #根据个人环境,修改为实际路径

JAR="jruby-complete-9.2.11.1.jar"

JRUBYDIR="${JAR}-dir"

echo $JRUBYDIR

PLATDIR="META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux"

 

 

cd ${JARDIR}

unzip -d ${JRUBYDIR} ${JAR}

cd "${JRUBYDIR}/${PLATDIR}"

cp -n types.conf platform.conf

cd "${JARDIR}/${JRUBYDIR}"

 

 

zip -r jruby-complete-9.2.11.1.jar *

mv -f jruby-complete-9.2.11.1.jar ..

cd ${JARDIR}

rm -rf ${JRUBYDIR}

chown elastic:elastic jruby-complete-9.2.11.1.jar

 

sync

sync

cd ${STARTDIR}

 

 

[elastic@localhost logstash-7.8.0]$ chmod 777 fix.sh

[elastic@localhost logstash-7.8.0]$ sh fix.sh

                                                

步骤 2 修改配置文件config/logstash.conf添加内容仅供参考

[elastic@localhost logstash-7.8.0]$ cp config/logstash-sample.conf config/logstash.conf

[elastic@localhost logstash-7.8.0]$ vi config/logstash.conf

input {

  file {

    type => "mylogs01"

    path => "/var/log"

    codec => multiline {

        pattern => "^\["

        negate => true

        what => "previous"

    }

    start_position => "beginning"

  }

}

 

filter {

        grok {

           match => { "message" => "\[%{TIMESTAMP_ISO8601}\s*%{USER}\] \[%{USERNAME}\] \[%{USERNAME}\] - %{NOTSPACE}, IP: %{IP:ip}"}

        }

        grok {

           match => { "message" => "\[%{TIMESTAMP_ISO8601:datel}\s*%{USER:leve}\] \[%{USERNAME}\] \[%{USERNAME}\] - %{NOTSPACE:request}"}

        }

}

output {

  elasticsearch {

    hosts => ["http://10.X.X.199:9200"]

    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

    #user => "elastic"

    #password => "changeme"

  }

}

 

 

步骤 3 启动Logstash

[elastic@localhost logstash-7.8.0]$ ./bin/logstash -f config/logstash.conf > /tmp/logstash.log 2>&1 &

 

 

7 测试验证

 

步骤 1 验证环境需要搭建ELK Stack环境,搭建完毕后打开浏览器,输入

http:// 10.X.X.199:5601,根据实际场景测试功能。

 


fix.rar 388 Bytes,下载次数:0

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

火灵

发帖: 172粉丝: 11

发消息 + 关注

发表于2020年10月20日 23:31:15
直达本楼层的链接
沙发
显示全部楼层

感谢分享!

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200