Linux服务器技术之专业负载均衡器Haproxy
【摘要】 Haproxy 是专业的负载均衡器。它功能强大,能高效分发流量至后端服务器,保障服务高可用。其配置灵活,可通过多种方式实现负载均衡策略,如轮询、最小连接数等。支持健康检查,可及时发现并剔除故障服务器。安装与配置相对简便,适用于多种网络环境。在实际应用中,对提升系统性能、增强稳定性作用显著,广泛应用于各类网站、应用服务的负载均衡场景。
1、HAProxy简介
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP的应用代理,支持虚拟主机,它是免费、快速并且可靠的一种负载均衡解决方案。适合处理高负载站点的七层数据请求。类似的代理服务可以屏蔽内部真实服务器,防止内部服务器遭受攻击。
1、HAProxy 特点和优点
-
支持原生SSL,同时支持客户端和服务器的SSL.
-
支持IPv6和UNIX套字节(sockets)
-
支持HTTP Keep-Alive
-
支持HTTP/1.1压缩,节省宽带
-
支持优化健康检测机制(SSL、scripted TCP、check agent...)
-
支持7层负载均衡。
-
可靠性和稳定性非常好。
-
并发连接40000-50000个,单位时间处理最大请求20000个,最大数据处理10Gbps.
-
支持8种负载均衡算法,同时支持session保持。
-
支持虚拟主机。
-
支持连接拒绝、全透明代理。
-
拥有服务器状态监控页面。
-
支持ACL.
2、 HAProxy 保持会话
HAProxy为了让同一客户端访问服务器可以保持会话。有三种解决方法:客户端IP、Cookie以及Session
-
HAProxy通过客户端IP进行Hash计算并保存,以此确保当相同IP访问代理服务器可以转发给固定的真实服务器。
-
HAProxy依靠真实服务器发送客户端的Cookie信息进行会话保持。
-
HAProxy将保存真实服务器的Session以及服务器标识,实现会话保持。
(HAProxy只要求后端服务器能够在网络联通,也没有像LVS那样繁琐的ARP配置)
3、HAProxy 负载均衡算法
-
HAProxy的balance8种负载均衡算法: roundrobin : 基于权重轮循。
-
static-rr : 基于权重轮循。静态算法,运行时改变无法生效
-
source : 基于请求源IP的算法。对请求的源IP进行hash运算,然后将结果与后端服务器的权重总数想除后转发至某台匹配服务器。使同一IP客户端请求始终被转发到某特定的后端服务器。
-
leastconn : 最小连接。(适合数据库负载均衡,不适合会话短的环境)
-
uri : 对部分或整体URI进行hash运算,再与服务器的总权重想除,最后转发到匹配后端。
-
uri_param : 根据URL路径中参数进行转发,保证在后端服务器数量不变的情况下,同一用户请求分发到同一机器。
-
hdr(<name>) : 根据http头转发,如果不存在http头。则使用简单轮循。
4、HAProxy主要工作模式
-
tcp模式:该模式下,在客户端和服务器之间将建立一个全双工的连接,且不会对7层的报文做任何处理的简单模式。此模式默认,通常用于SSL、SSH、SMTP应用。
-
http模式(一般使用):该模式下,客户端请求在转发给后端服务器之前会被深度分析,所有不与RFC格式兼容的请求都会被拒绝。
2、HAProxy 安装及配置文件参数
1、HAProxy 安装
[root@qfedu.com ~]# yum -y install haproxy
2、HAProxy 环境
haproxy 的配置文件通常分为三部分:
-
global(全局配置部分)
-
defaults(默认配置部分)
-
listen(应用组件部分)
1、 HAProxy 配置文件详解
[root@qfedu.com ~]# vim /etc/haproxy/haproxy.cfg
####################全局配置#######################
#######参数是进程级的,通常和操作系统(OS)相关#########
global
maxconn 20480 # 默认最大连接数
log 127.0.0.1 local0 # 日志输出配置,所有日志都记录在本机系统日志,通过local0输出
log 127.0.0.1 local1 notice # notice 为日志级别,通常有24个级别(error warringinfo debug)
chroot /var/haproxy # chroot运行的路径
uid 99 # 所属运行的用户uid
gid 99 # 所属运行的用户组
daemon # 以后台形式运行haproxy
nbproc 1 # 进程数量(可以设置多个进程提高性能)
pidfile /var/run/haproxy.pid # haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
ulimit-n 65535 # ulimit的数量限制
#####################默认设置######################
##这些参数可以被利用配置到frontend,backend,listen组件##
defaults
log global
mode http # 所处理的类别 (#7层 http;4层tcp )
maxconn 20480 # 最大连接数
option httplog # 日志类别http日志格式
option httpclose # 每次请求完毕后主动关闭http通道
option dontlognull # 不记录健康检查的日志信息
option forwardfor # 如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
option redispatch # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose # 当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接
stats refresh 30 # 统计页面刷新间隔
retries 3 # 3次连接失败就认为服务不可用,也可以通过后面设置
balance roundrobin # 默认的负载均衡的方式,轮询方式
#balance source # 默认的负载均衡的方式,类似nginx的ip_hash
#balance leastconn # 默认的负载均衡的方式,最小连接
contimeout 5000 # 连接超时
clitimeout 50000 # 客户端超时
srvtimeout 50000 # 服务器超时
timeout check 2000 # 心跳检测超时
####################监控页面的设置#######################
listen admin_status # Frontend和Backend的组合体,监控组的名称,按需自定义名称
bind 0.0.0.0:65532 # 监听端口
mode http # http的7层模式
log 127.0.0.1 local3 err # 错误日志记录
stats refresh 5s # 每隔5秒自动刷新监控页面
stats uri /admin?stats # 监控页面的url
stats realm itnihao\ itnihao # 监控页面的提示信息
stats auth admin:admin # 监控页面的用户和密码admin,可以设置多个用户名
stats auth admin1:admin1 # 监控页面的用户和密码admin1
stats hide-version # 隐藏统计页面上的HAproxy版本信息
stats admin if TRUE # 手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
#################HAProxy的日志记录内容设置###################
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Content-Length len 10
capture response header Cache-Control len 8
#######################网站监测listen配置#####################
###########此用法主要是监控haproxy后端服务器的监控状态############
listen site_status
bind 0.0.0.0:1081 # 监听端口
mode http # http的7层模式
log 127.0.0.1 local3 err # [err warning info debug]
monitor-uri /site_status # 网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503
acl site_dead nbsrv(server_web) lt 2 # 定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead # 当满足策略的时候返回503,网上文档说的是500,实际测试为503
monitor-net 192.168.16.2/32 # 来自192.168.16.2的日志信息不会被记录和转发
monitor-net 192.168.16.3/32
######################frontend配置#########################
#####注意,frontend配置里面可以定义多个acl进行匹配操作###########
frontend http_80_in
bind 0.0.0.0:80 # 监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
mode http # http的7层模式
log global # 应用全局的日志配置
option httplog # 启用http的log
option httpclose # 每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式
option forwardfor # 如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
########################acl策略配置########################
acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
# 如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
# 如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
# acl itnihao hdr(host) -i itnihao.cn
# 如果请求的域名满足itnihao.cn返回true -i是忽略大小写
# acl file_req url_sub -i killall=
# 在请求url中包含killall=,则此控制策略返回true,否则为false
# acl dir_req url_dir -i allow
# 在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false
# acl missing_cl hdr_cnt(Content-length) eq 0
# 当请求的header中Content-length等于0时返回true
##########################acl策略匹配相应##################
# block if missing_cl
# 当请求中header中Content-length等于0阻止请求返回403
# block if !file_req || dir_req
# block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求
use_backend server_web if itnihao_web
# 当满足itnihao_web的策略时使用server_web的backend
use_backend server_blog if itnihao_blog
# 当满足itnihao_blog的策略时使用server_blog的backend
# redirect prefix http://blog.itniaho.cn code 301 if itnihao
# 当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3
default_backend server_bbs
# 以上都不满足的时候使用默认server_bbs的backend
########################backend的设置####################
#下面我将设置三组服务器 server_web,server_blog,server_bbs
###########################backend server_web#############################
backend server_web
mode http # http的7层模式
balance roundrobin # 负载均衡的方式,roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
# fall 3是3次失败认为服务器不可用,weight代表权重
server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
# fall 3是3次失败认为服务器不可用,weight代表权重
###################################backend server_blog###############################################
backend server_blog
mode http # http的7层模式
balance roundrobin # 负载均衡的方式,roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
###################################backend server_bbs###############################################
backend server_bbs
mode http # http的7层模式
balance roundrobin # 负载均衡的方式,roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
3、Haproxy 实现七层负载
Keepalived + Haproxy
=================================================================================
[root@qfedu.com. ~]# vim /etc/haproxy/haproxy.cfg
global #关于进程的全局参数
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
defaults、listen、frontend、backend # 关于Proxy配置段
defaults # 段用于为其它配置段提供默认参数
listen是frontend和backend的结合体
frontend # 虚拟服务VIrtual Server 监听器 接受访问并调度
backend # 真实服务器Real Server Web Servers 被调度的服务器
# 调度器可以同时为多个站点调度,如果使用frontend、backend的方式:
frontend1 backend1
frontend2 backend2
frontend3 backend3
Keepalived + Haproxy
=================================================================================
拓扑结构
[vip: 192.168.122.100]
[LB1 Haproxy] [LB2 Haproxy]
192.168.122.2 192.168.122.3
[httpd] [httpd] [httpd]
192.168.122.10 192.168.122.20 192.168.122.30
一、Haproxy实施步骤
1. 准备工作(集群中所有主机)
IP, hostname, hosts, iptables, SELinux, ssh trust, ntp
[root@qfedu.com. ~]# cat /etc/hosts
127.0.0.1 localhost
192.168.122.2 director1.qfedu.com active
192.168.122.3 director2.qfedu.com backup
192.168.122.10 node1.qfedu.com node1
192.168.122.20 node2.qfedu.com node2
192.168.122.30 node2.qfedu.com node3
2. RS配置
配置好网站服务器,测试所有RS
3. 调度器配置Haproxy(主/备)
[root@qfedu.com. ~]# yum -y install haproxy
[root@qfedu.com. ~]# cp -rf /etc/haproxy/haproxy.cfg{,.bak}
[root@qfedu.com. ~]# sed -i -r '/^[ ]*#/d;/^$/d' /etc/haproxy/haproxy.cfg
[root@qfedu.com. ~]# vim /etc/haproxy/haproxy.cfg
global
...
defaults
...
----------------------------配置监控[可选]------------------------------
listen stats
bind *:1314
stats enable
stats refresh 30s
stats hide-version
stats uri /haproxystats
stats realm Haproxy\ stats
stats auth qfedu:123
stats admin if TRUE
----------------------------------------------------------------------
frontend web
mode http
bind *:80
default_backend httpservers
backend httpservers
balance roundrobin
server http1 192.168.122.10:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
server http2 192.168.122.20:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
server http3 192.168.122.30:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
[root@qfedu.com. ~]# service haproxy restart
[root@qfedu.com. ~]# chkconfig haproxy on
-
测试调度器(主/备)
Keepalived 实现调度器 HA
注:主/备调度器均能够实现正常调度
1. 主/备调度器安装软件
[root@master.qfedu.com ~]# yum -y install keepalived
[root@backup.qfedu.com ~]# yum -y install keepalived
2. Keepalived
Master
[root@master.qfedu.com ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id director1 # 辅助改为director2
}
vrrp_instance VI_1 {
state BACKUP
nopreempt
interface eth0 # 心跳接口,尽量单独连接心跳
virtual_router_id 80 # MASTER,BACKUP一致
priority 100 # 辅助改为50
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.122.100
}
}
BACKUP
3. 启动KeepAlived(主备均启动)
[root@backup.qfedu.com ~]# systemctl enable keeplived
[root@backup.qfedu.com ~]# systemctl start keepalived
[root@backup.qfedu.com ~]# ip addr
4. 扩展对调度器Haproxy健康检查(可选)
思路:
让Keepalived以一定时间间隔执行一个外部脚本,脚本的功能是当Haproxy失败,则关闭本机的Keepalived
a. script
[root@master.qfedu.com ~]# cat /etc/keepalived/check_haproxy_status.sh
#!/bin/bash
/usr/bin/curl -I http://localhost &>/dev/null
if [ $? -ne 0 ];then
/etc/init.d/keepalived stop
fi
[root@master.qfedu.com ~]# chmod a+x /etc/keepalived/check_haproxy_status.sh
b. keepalived使用script
! Configuration File for keepalived
global_defs {
router_id director1
}
vrrp_script check_haproxy {
script "/etc/keepalived/check_haproxy_status.sh"
interval 5
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
nopreempt
virtual_router_id 90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass qfedu
}
virtual_ipaddress {
192.168.122.100
}
track_script {
check_haproxy
}
}
=================================================================================
listen www.qfedu.com
mode http
bind *:80
balance roundrobin
#balance source
server http1 192.168.122.10:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
server http2 192.168.122.20:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
server http3 192.168.122.30:80 maxconn 2000 weight 1 check inter 1s rise 2 fall 2
Haproxy Log:
[root@rhel6 ~]# tcpdump -i lo -nn port 514
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 65535 bytes
02:48:50.475524 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
02:48:55.479321 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
02:49:00.479946 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
02:49:05.476149 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
02:49:10.473743 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
02:49:15.481521 IP 127.0.0.1.41350 > 127.0.0.1.514: SYSLOG local2.info, length: 176
[root@master.qfedu.com ~]# netstat -tunlp |grep :514
[root@master.qfedu.com ~]# vim /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -r"
[root@master.qfedu.com ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
local2.* /var/log/haproxy.log
[root@master.qfedu.com ~]# systemctl restart rsyslog
[root@master.qfedu.com ~]# netstat -tunlp |grep :514
tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 2755/rsyslogd
tcp 0 0 :::514 :::* LISTEN 2755/rsyslogd
udp 0 0 0.0.0.0:514 0.0.0.0:* 2755/rsyslogd
udp 0 0 :::514 :::* 2755/rsyslogd
[root@master.qfedu.com ~]# tailf /var/log/haproxy.log
Jan 16 02:51:10 localhost haproxy[2734]: [16/Jan/2016:02:51:10.487] www.qfedu.com www.qfedu.com/http3 0/0/0/0/0 200 265 - - ---- 1/1/0/1/0 0/0 "HEAD / HTTP/1.1"
Jan 16 02:51:15 localhost haproxy[2734]: [16/Jan/2016:02:51:15.493] www.qfedu.com www.qfedu.com/http1 0/0/0/1/1 200 265 - - ---- 1/1/0/1/0 0/0 "HEAD / HTTP/1.1"
Jan 16 02:51:20 localhost haproxy[2734]: [16/Jan/2016:02:51:20.490] www.qfedu.com www.qfedu.com/http2 0/0/0/1/1 200 265 - - ---- 1/1/0/1/0 0/0 "HEAD / HTTP/1.1"
主/备调度器:
正常只有活跃的调度器发送组播
[root@master.qfedu.com ~]# tcpdump -i eth0 -nn vrrp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
02:13:38.483890 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:39.484731 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:40.487664 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:41.488244 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:42.489277 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:43.490422 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:44.491214 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:45.491975 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:46.492977 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
02:13:47.494123 IP 192.168.122.56 > 224.0.0.18: VRRPv2, Advertisement, vrid 88, prio 100, authtype simple, intvl 1s, length 20
4、Haproxy 实现四层负载
Haproxy L4
=================================================================================
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
defaults
mode http
log global
option dontlognull
retries 3
maxconn 3000
contimeout 50000
clitimeout 50000
srvtimeout 50000
listen stats
bind *:1314
stats enable
stats hide-version
stats uri /haproxystats
stats realm Haproxy\ stats
stats auth qfedu:123
stats admin if TRUE
frontend web
option httplog
option http-server-close
option forwardfor except 127.0.0.0/8
#option redispatch
mode http
bind *:80
default_backend httpservers
backend httpservers
balance roundrobin
server http1 192.168.122.10:80 check maxconn 2000
server http2 192.168.122.20:80 check maxconn 2000
server http3 192.168.122.30:80 check maxconn 2000
listen mysql
bind *:3306
mode tcp
balance roundrobin
server mysql1 192.168.122.40:3306 weight 1 check inter 1s rise 2 fall 2
server mysql2 192.168.122.50:3306 weight 1 check inter 1s rise 2 fall 2
server mysql3 192.168.122.60:3306 weight 1 check inter 1s rise 2 fall 2
=================================================================================
总结
Haproxy 是专业的负载均衡器。它功能强大,能高效分发流量至后端服务器,保障服务高可用。其配置灵活,可通过多种方式实现负载均衡策略,如轮询、最小连接数等。支持健康检查,可及时发现并剔除故障服务器。安装与配置相对简便,适用于多种网络环境。在实际应用中,对提升系统性能、增强稳定性作用显著,广泛应用于各类网站、应用服务的负载均衡场景。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)