LTS基础入门并实践下【玩转华为云】
本文主要内容有
- 一 啥是云日志服务LTS
- 二 它能够做些什么
- 三 搞懂一些基本概念
- 四 LTS创建与配置
- 五 VPC接入与LTS告警
一 啥是云日志服务LTS
1.1 先搞懂定义
它用来收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以把云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮您高效地进行实时决策分析、设备运维管理、用户业务趋势分析等!
原理大致如下这样
1.2 日志采集是啥
日志采集与分析
云日志服务可以采集主机和云服务的日志数据,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,
二 它能够做些什么
实时采集日志
云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。
采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。
日志查询与实时分析
对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
日志监控与告警
云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态。
日志转储
主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)、数据接入服务(DIS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。
三 搞懂一些基本概念
日志组
日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间。
日志组的创建类型分为用户创建(主动)和云服务创建(被动)。
- 用户创建:用户在云日志服务控制台进行创建的日志组。
- 云服务创建:指华为云其他云服务与云日志服务进行系统对接后,系统将自动在云日志服务控制台创建日志组和日志流,云服务的运行日志将发送到对应的日志流中。
日志流
日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。
日志读写以日志流为单位,您可以在写入时指定日志流,将不同类型的日志分类存储,ICAgent采集日志后,将多条日志数据进行打包,以日志流为单位发往云日志服务,日志流的读写方式可以最大限度地减少读取与写入次数,提高业务效率。
例如,您可以将不同的日志(操作日志、访问日志等)写入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。
ICAgent
ICAgent是云日志服务的日志采集工具,运行在需要采集日志的主机中。首次使用云日志服务采集日志时,需要安装ICAgent,如果需要采集多台主机的日志,还支持批量安装ICAgent,在云日志服务控制台可以实时查看ICAgent的运行状态;
四 LTS创建与配置
4.1创建云日志服务(LTS)
步骤1 进入云日志服务(LTS)页面
进入华为云控制台,切换区域至“华北-北京四”,鼠标移动到云桌面浏览器页面中左侧菜单栏,点击服务列表->“管理与监管”->“云日志服务LTS”,打开如下图所示:
步骤2 创建日志组
点击右上角“创建日志组”,并按下图配置参数。
日志组名称:lts-group-test(用户可自定义)
日志存储实践(天):7
点击“确定”后可以在主界面查看刚刚创建的日志组,再点击“创建日志流”
并按下图配置参数。
日志组名称:lts-group-test
日志流名称:lts-topic-test
点击“确定”,返回日志管理页面,可以查看到已经创建的日志组与日志流
4.2创建VPC
步骤1 创建虚拟私有云(VPC)
在虚拟私有云(VPC)页面点击右上角“创建虚拟私有云”,并按下图配置参数后点击“立即创建”
基本信息:
区域:华北-北京四
名称:vpc-lts
IPv4网段:192.168.0.0/16
默认子网:
可用区:可用区1
名称:subnet-lts
步骤2 购买弹性云服务器(ECS)
点击右上角的“购买弹性云服务器”,按下图配置弹性云服务器基本信息。
基础配置:
计费模式:按需计费;
区域:华北-北京四;
可用区:随机分配;
CPU架构:X86计算;
规格:s6.small.1/1vCPUs/1GiB
镜像:公共镜像/CentOS 7.6 64bit(40GB)
系统盘:高IO/40GiB
点击”下一步:网络配置”
按下图进行弹性云服务器网络配置
网络:vpc-lts
安全组:default
弹性公网IP:现在购买
线路:全动态BGP
公网带宽:按带宽计费
带宽大小:5
点击下一步“高级配置”
按下图设置弹性云服务器高级配置
云服务器名称:ecs-lts
登录凭证:密码
密码:Huawei@123.(不可自定义密码)
云备份:暂不购买
其他选项保持默认,点击下一步“确认配置”
勾选“我已经阅读并同意《镜像免责声明》”,确认配置无误后点击“立即购买”
返回云服务器列表后等待几分钟后可以看到“ecs-lts”状态为运行中
返回“网络控制台”,选择访问控制-安全组
为default安全组添加一条如方向规则
步骤3 创建访问密钥
在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史纪录收集,以免泄露隐私。安装后ICAgent会加密存储您的AK/SK,有效保护敏感信息。
在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。
在“我的凭证”页面,单击“访问密钥”页签,然后单击“新增访问密钥”,输入验证码或密码。
单击“确定”,生成并下载访问密钥。创建访问密钥成功后,可以使用以下指令在下载的.csv文件中查看秘密访问密钥(AK和SK):
cat /home/user/Downloads/credentials.csv
4.3 LTS基础配置
创建主机组
步骤1 进入云日志服务页面
点击左侧栏 “主机管理”->“新建主机组”,如下图
步骤2 创建主机组
点击右上角“新建主机组”,命名主机组,并按下图设置配置信息后,单机“安装ICAgent”
在安装ICAgent界面按下图设置配置,输入上一步.csv文件中生成的AK与SK。
注:SK为40位数码,需删掉末尾的“USER”
复制ICAgent安装命令
步骤3 安装ICAgent
登录弹性云服务器(ECS),单击ecs-lts后面的“远程登陆”
在登录Linux弹性云服务器界面,单击“CloudShell登录”
在连接远程服务器界面输入先前设置的ecs-lts的密码,单击“连接”。
出现“Welcome to Huawei Cloud Service”则登录成功
将上述步骤二中复制的命令粘贴至命令行安装ICAgent。出现”ICAgent install success.”字样则ICAgent安装成功
使用以下指令查看ICAgent是否安装成功
ps -ef |grep ICAgent
返回云日志服务界面“主机管理”-> “新建主机组”,在主机列表栏勾选已安装ICAgent的ecs-lts,单击“确定”
即可在主机组栏看到刚刚添加的ecs-lts,ICAgent状态为“运行”。
4.4 安装Apache
步骤1 安装Apache
返回远程登录界面,输入 :
yum -y install httpd
显示“Complete!”则安装成功。
步骤2 启动Apache
启动httpd:
service httpd start
查看httpd 进程:
ps -ef | grep httpd
问题:Apache是什么?
答案: Apache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展,将Perl/Python等解释器编译到服务器中。
步骤3 日志接入
进入云日志服务界面,点击“日志接入”->“接入日志”->“主机接入”。
按下图选择所属日志组、日志流,然后点击“下一步:选择主机组”。
所属日志组:lts-group-test
所属日志流:lts-topic-test
在主机组名称栏勾选“group-ecs-lts”,点击“下一步:采集配置”。
按下图设置采集配置;
采集配置名称:lts-ecs
路径配置:/var/log/httpd/error_log
其余配置保持默认后点击“提交”。
返回“日志接入”界面可以看到刚刚接入的日志信息
进入“日志流”界面可以看到最近采集到的日志信息
可以点击日志内容中的“查看上下文”
3.1创建VPC
步骤1创建VPC流日志
在管理控制台左上角单击 图标,选择华北-北京四。选择“服务列表 > 网络 > 虚拟私有云 VPC”。
在左侧导航栏,选择“VPC流日志”。在页面右上角,单击“创建VPC流日志”,按照提示配置参数。
名称:flowlog-vpc
资源类型:虚拟私有云
选择资源:vpc-lts
采集类型:全部
日志组:lts-group-lts
日志流:lts-topic-lts
单击“确定”,配置完成即可查看VPC日志流:
五 VPC接入与LTS告警
5.1使用LTS告警
步骤1设置告警规则
在管理控制台左上角选择“云日志服务 > 告警 > 告警规则”
单击”创建“,按如下配置设置告警规则:
规则名称:rule1
描述:404 not found
统计类型:关键词统计
日志组名称:lts-group-lts
日志流名称:lts-topic-lts
关键词:error
查询时间:1,分钟(用户可自定义)
告警触发条件
统计周期:固定时间,1,分钟
匹配条数:> , 1
触发告警级别:紧急
发送通知:不发送(用户可自定义)
5.2 访问httpd
直接访问EIP地址,如图则证明httpd安装正确
在EIP后接/hello后再此访问,显示:Not found
返回告警列表界面
在告警活动栏可以看见一条触发了rule1的告警通知,则告警规则设置成功
- 点赞
- 收藏
- 关注作者
评论(0)