LTS基础入门并实践下【玩转华为云】

举报
龙哥手记 发表于 2022/11/10 15:02:39 2022/11/10
【摘要】 它能够用海量日志数据的分析与处理,把云服务和应用程序的可用性和性能最大化,便于你决策

本文主要内容有

  • 一 啥是云日志服务LTS
  • 二 它能够做些什么
  • 三 搞懂一些基本概念
  • 四 LTS创建与配置
  • 五 VPC接入与LTS告警

啥是云日志服务LTS

1.1 先搞懂定义

它用来收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以把云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮您高效地进行实时决策分析、设备运维管理、用户业务趋势分析等!

原理大致如下这样

1.2 日志采集是啥

日志采集与分析

云日志服务可以采集主机和云服务的日志数据,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,

可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据;


二 它能够做些什么

实时采集日志

云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。

采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。

日志查询与实时分析

对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。

日志监控与告警

云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态。

日志转储

主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)、数据接入服务(DIS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。


三 搞懂一些基本概念

日志组

日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间。

日志组的创建类型分为用户创建(主动)和云服务创建(被动)。

  • 用户创建:用户在云日志服务控制台进行创建的日志组。
  • 云服务创建:指华为云其他云服务与云日志服务进行系统对接后,系统将自动在云日志服务控制台创建日志组和日志流,云服务的运行日志将发送到对应的日志流中。

日志流

日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。

日志读写以日志流为单位,您可以在写入时指定日志流,将不同类型的日志分类存储,ICAgent采集日志后,将多条日志数据进行打包,以日志流为单位发往云日志服务,日志流的读写方式可以最大限度地减少读取与写入次数,提高业务效率。

例如,您可以将不同的日志(操作日志、访问日志等)写入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。

ICAgent

ICAgent是云日志服务的日志采集工具,运行在需要采集日志的主机中。首次使用云日志服务采集日志时,需要安装ICAgent,如果需要采集多台主机的日志,还支持批量安装ICAgent,在云日志服务控制台可以实时查看ICAgent的运行状态;


四 LTS创建与配置


4.1创建云日志服务(LTS)

步骤1 进入云日志服务(LTS)页面

进入华为云控制台,切换区域至“华北-北京四”,鼠标移动到云桌面浏览器页面中左侧菜单栏,点击服务列表->“管理与监管”->“云日志服务LTS”,打开如下图所示:


步骤2 创建日志组

点击右上角“创建日志组”,并按下图配置参数。

日志组名称:lts-group-test(用户可自定义)

日志存储实践(天):7

点击“确定”后可以在主界面查看刚刚创建的日志组,再点击“创建日志流”


并按下图配置参数。

日志组名称:lts-group-test

日志流名称:lts-topic-test

点击“确定”,返回日志管理页面,可以查看到已经创建的日志组与日志流

4.2创建VPC

步骤1 创建虚拟私有云(VPC)

在虚拟私有云(VPC)页面点击右上角“创建虚拟私有云”,并按下图配置参数后点击“立即创建”

基本信息:

区域:华北-北京四

名称:vpc-lts

IPv4网段:192.168.0.0/16

默认子网:

可用区:可用区1

名称:subnet-lts

步骤2 购买弹性云服务器(ECS)

点击右上角的“购买弹性云服务器”,按下图配置弹性云服务器基本信息。

基础配置:

计费模式:按需计费;

区域:华北-北京四;

可用区:随机分配;

CPU架构:X86计算;

规格:s6.small.1/1vCPUs/1GiB

镜像:公共镜像/CentOS 7.6 64bit(40GB)

系统盘:高IO/40GiB

点击”下一步:网络配置”

按下图进行弹性云服务器网络配置

网络:vpc-lts

安全组:default

弹性公网IP:现在购买

线路:全动态BGP

公网带宽:按带宽计费

带宽大小:5

点击下一步“高级配置”

按下图设置弹性云服务器高级配置

云服务器名称:ecs-lts

登录凭证:密码

密码:Huawei@123.(不可自定义密码)

云备份:暂不购买

其他选项保持默认,点击下一步“确认配置”

勾选“我已经阅读并同意《镜像免责声明》”,确认配置无误后点击“立即购买”

返回云服务器列表后等待几分钟后可以看到“ecs-lts”状态为运行中

返回“网络控制台”,选择访问控制-安全组

为default安全组添加一条如方向规则

步骤3 创建访问密钥

在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史纪录收集,以免泄露隐私。安装后ICAgent会加密存储您的AK/SK,有效保护敏感信息。

在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。

在“我的凭证”页面,单击“访问密钥”页签,然后单击“新增访问密钥”,输入验证码或密码。

单击“确定”,生成并下载访问密钥。创建访问密钥成功后,可以使用以下指令在下载的.csv文件中查看秘密访问密钥(AK和SK):

cat /home/user/Downloads/credentials.csv

4.3 LTS基础配置

创建主机组

步骤1 进入云日志服务页面

点击左侧栏 “主机管理”->“新建主机组”,如下图


步骤2 创建主机组

点击右上角“新建主机组”,命名主机组,并按下图设置配置信息后,单机“安装ICAgent”

在安装ICAgent界面按下图设置配置,输入上一步.csv文件中生成的AK与SK。

注:SK为40位数码,需删掉末尾的“USER”

复制ICAgent安装命令

步骤3 安装ICAgent

登录弹性云服务器(ECS),单击ecs-lts后面的“远程登陆”


在登录Linux弹性云服务器界面,单击“CloudShell登录”

在连接远程服务器界面输入先前设置的ecs-lts的密码,单击“连接”。

出现“Welcome to Huawei Cloud Service”则登录成功

将上述步骤二中复制的命令粘贴至命令行安装ICAgent。出现”ICAgent install success.”字样则ICAgent安装成功

使用以下指令查看ICAgent是否安装成功

ps -ef |grep ICAgent

返回云日志服务界面“主机管理”-> “新建主机组”,在主机列表栏勾选已安装ICAgent的ecs-lts,单击“确定”

即可在主机组栏看到刚刚添加的ecs-lts,ICAgent状态为“运行”。


4.4 安装Apache

步骤1 安装Apache

返回远程登录界面,输入 :

yum -y install httpd

显示“Complete!”则安装成功。

步骤2 启动Apache

启动httpd:

service httpd start

查看httpd 进程:

ps -ef | grep httpd

问题:Apache是什么?

答案: Apache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展,将Perl/Python等解释器编译到服务器中。

步骤3 日志接入

进入云日志服务界面,点击“日志接入”->“接入日志”->“主机接入”。

按下图选择所属日志组、日志流,然后点击“下一步:选择主机组”。

所属日志组:lts-group-test

所属日志流:lts-topic-test

在主机组名称栏勾选“group-ecs-lts”,点击“下一步:采集配置”。

按下图设置采集配置;

采集配置名称:lts-ecs

路径配置:/var/log/httpd/error_log

其余配置保持默认后点击“提交”。

返回“日志接入”界面可以看到刚刚接入的日志信息

进入“日志流”界面可以看到最近采集到的日志信息

可以点击日志内容中的“查看上下文”


3.1创建VPC


步骤1创建VPC流日志

在管理控制台左上角单击 图标,选择华北-北京四。选择“服务列表 > 网络 > 虚拟私有云 VPC”。


在左侧导航栏,选择“VPC流日志”。在页面右上角,单击“创建VPC流日志”,按照提示配置参数。

名称:flowlog-vpc

资源类型:虚拟私有云

选择资源:vpc-lts

采集类型:全部

日志组:lts-group-lts

日志流:lts-topic-lts


单击“确定”,配置完成即可查看VPC日志流:




五 VPC接入与LTS告警

5.1使用LTS告警

步骤1设置告警规则

在管理控制台左上角选择“云日志服务 > 告警 > 告警规则”

单击”创建“,按如下配置设置告警规则:

规则名称:rule1

描述:404 not found

统计类型:关键词统计

日志组名称:lts-group-lts

日志流名称:lts-topic-lts

关键词:error

查询时间:1,分钟(用户可自定义)

告警触发条件

统计周期:固定时间,1,分钟

匹配条数:> , 1

触发告警级别:紧急

发送通知:不发送(用户可自定义)

5.2 访问httpd

直接访问EIP地址,如图则证明httpd安装正确

在EIP后接/hello后再此访问,显示:Not found

返回告警列表界面

在告警活动栏可以看见一条触发了rule1的告警通知,则告警规则设置成功

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。