云计算工程师之七层负载均衡集群
【摘要】 负载均衡是一种计算机网络技术，用于分配工作负载到多个服务器或其他资源上，以优化资源使用、最大化吞吐量、最小化响应时间并避免任何单一资源的过载。以下是关于7层负载均衡课程的总结，以及附加解决真实服务器（real server）问题的策略。
一、Nginx七层的负载均衡
7层协议
OSI（Open System Interconnection）是一个开放性的通行系统互连参考模型，他是一个定义的非常好的协议规范，共包含七层协议。直接上图，这样更直观些：
4层协议
TCP/IP协议 之所以说TCP/IP是一个协议族，是因为TCP/IP协议包括TCP、IP、UDP、ICMP、RIP、TELNETFTP、SMTP、ARP、TFTP等许多协议，这些协议一起称为TCP/IP协议。
从协议分层模型方面来讲，TCP/IP由四个层次组成：网络接口层、网络层、传输层、应用层。
协议配置
这里我们举例，在nginx做负载均衡，负载多个服务，部分服务是需要7层的，部分服务是需要4层的，也就是说7层和4层配置在同一个配置文件中。
1、7层 upstream 模块
vim nginx.conf
worker_processes 2;
events {
worker_connections 1024;
}
# 7层http负载
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
gzip on;
# app
upstream app.com {
ip_hash;
server 192.168.152.100:8080;
server 192.168.152.101:8080;
}
server {
listen 80;
server_name app;
charset utf-8;
location / {
proxy_pass http://plugin.com;
proxy_set_header Host $host:$server_port;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
# web
upstream web.com {
ip_hash;
server 192.168.152.100:8090;
server 192.168.152.101:8090;
}
server {
listen 81;
server_name web;
charset utf-8;
location / {
proxy_pass http://web.com;
proxy_set_header Host $host:$server_port;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}2、4 层 stream 模块
nginx 在 1.9.0 的时候，增加了一个 stream 模块，用来实现四层协议（网络层和传输层）的转发、代理、负载均衡等。stream模块的用法跟http的用法类似，允许我们配置一组TCP或者UDP等协议的监听，然后通过proxy_pass来转发我们的请求，通过upstream添加多个后端服务，实现负载均衡。
注意：stream 模块和 http 模块是一同等级；做四层代理时需要添加上这个模块；
# 4 层 tcp 负载
stream {
upstream myweb {
hash $remote_addr consistent;
server 192.168.152.100:8080;
server 192.168.152.101:8080;
}
server {
listen 82;
proxy_connect_timeout 10s;
proxy_timeout 30s;
proxy_pass myweb;
}
}
# proxy_timeout 30s; #默认值为10分钟，nginx接收后端服务器的响应超时时间配置 4 层代理
一台机器测试实验
# 配置 4 层代理
# For more information on configuration, see:
# * Official English Documentation: http://nginx.org/en/docs/
# * Official Russian Documentation: http://nginx.org/ru/docs/
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
# 配置 4 层代理
stream {
upstream mytest1 {
server 192.168.0.100:80;
server 192.168.0.100:81;
}
server {
listen 192.168.0.108:80;
proxy_connect_timeout 10s;
proxy_timeout 30s;
proxy_pass mytest1;
}
upstream mytest2 {
server 192.168.0.100:3000;
server 192.168.0.100:3001;
}
server {
listen 192.168.0.108:8080;
proxy_connect_timeout 10s;
proxy_timeout 30s;
proxy_pass mytest2;
}
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 0;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Load modular configuration files from the /etc/nginx/conf.d directory.
# See http://nginx.org/en/docs/ngx_core_module.html#include
# for more information.
include /etc/nginx/conf.d/*.conf;
server {
listen 192.168.0.100:80;
server_name www.test1.com;
root /usr/share/nginx/mytest1;
access_log /var/log/www.test1.com.log main;
error_log /var/log/www.test1.com.error.log;
set_real_ip_from 192.168.0.108;
location / {
}
}
server {
listen 192.168.0.100:81;
server_name www.test1.com;
root /usr/share/nginx/mytest2;
access_log /var/log/www.test1.com.log main;
error_log /var/log/www.test1.com.error.log;
set_real_ip_from 192.168.0.108;
location / {
}
}
server {
listen 192.168.0.100:3000;
server_name www.test2.com;
root /usr/share/nginx/mytest3;
access_log /var/log/www.test2.com.log main;
error_log /var/log/www.test2.com.error.log;
set_real_ip_from 192.168.0.108;
location / {
}
}
server {
listen 192.168.0.100:3001;
server_name www.test2.com;
root /usr/share/nginx/mytest4;
access_log /var/log/www.test2.com.log main;
error_log /var/log/www.test2.com.error.log;
set_real_ip_from 192.168.0.108;
location / {
}
}
}
3、负载均衡算法
upstream 支持4种负载均衡调度算法:
A、轮询(默认):每个请求按时间顺序逐一分配到不同的后端服务器; 加权论询
B、ip_hash:每个请求按访问IP的hash结果分配，同一个IP客户端固定访问一个后端服务器。可以保证来自同一ip的请求被打到固定的机器上，可以解决session问题。
C、url_hash 按访问url的hash结果来分配请求，使每个url 定向到同一个后端服务器。后台服务器为缓存的时候效率。
D、fair:这是比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡，也就是根据后端服务器的响应时间来分配请求，响应时间短的优先分配。Nginx本身是不支持 fair的，如果需要使用这种调度算法，必须下载Nginx的 upstream_fair模块。
配置实例
1、轮询
nginx默认就是轮询其权重都默认为1，服务器处理请求的顺序：ABABABABAB....
upstream myweb {
server 192.168.152.100:8080;
server 192.168.152.101:8080;
}2、加权轮询
跟据配置的权重的大小而分发给不同服务器不同数量的请求。如果不设置，则默认为1。下面服务器的请求顺序为：ABBABBABBABBABB....
upstream myweb {
server 192.168.152.100:8080 weight=1;
server 192.168.152.101:8080 weight=2;
}
# 注意 值越大分配的请求越多3、ip_hash
nginx 会让相同的客户端ip请求相同的服务器。
upstream myweb {
server 192.168.152.100:8080;
server 192.168.152.101:8080;
ip_hash;
}4、fair
fair比 weight、ip_hash更加智能的负载均衡算法，fair算法可以根据页面大小和加载时间长短智能地进行负载均衡，也就是根据后端服务器的响应时间 来分配请求，响应时间短的优先分配。Nginx本身不支持fair，如果需要这种调度算法，则必须安装upstream_fair模块。
5、url_hash
按访问的URL的哈希结果来分配请求，使每个URL定向到一台后端服务器，可以进一步提高后端缓存服务器的效率。Nginx本身不支持url_hash，如果需要这种调度算法，则必须安装Nginx的hash软件包。
4、nginx负载均衡配置状态参数
-
down，表示当前的server暂时不参与负载均衡。
-
backup，预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候，才会请求backup机器，因此这台机器的压力最轻。
-
max_fails，允许请求失败的次数，默认为1。当超过最大次数时，返回 proxy_next_upstream 模块定义的错误。
-
fail_timeout，在经历了max_fails次失败后，暂停服务的时间。max_fails 可以和 fail_timeout一起使用。
upstream myweb {
server 192.168.152.100:8080 weight=2 max_fails=2 fail_timeout=2;
server 192.168.152.101:8080 weight=1 max_fails=2 fail_timeout=1;
}二、解决失效realserver
如果你的nginx服务器给2台web服务器做代理，负载均衡算法采用轮询，那么当你的一台机器web程序关闭造成web不能访问，那么nginx服务器分发请求还是会给这台不能访问的web服务器，如果这里的响应连接时间过长，就会导致客户端的页面一直在等待响应，对用户来说体验就打打折扣，这里我们怎么避免这样的情况发生呢。这里我配张图来说明下问题。
如果负载均衡中其中web2发生这样的情况，nginx首先会去web1请求，但是nginx在配置不当的情况下会继续分发请求道web2，然后等待web2响应，直到我们的响应时间超时，才会把请求重新分发给web1，这里的响应时间如果过长，用户等待的时间就会越长。
下面的配置是解决方案之一。
proxy_connect_timeout 1; #nginx服务器与被代理的服务器建立连接的超时时间，默认60秒
proxy_read_timeout 1; #nginx服务器想被代理服务器组发出read请求后，等待响应的超时间，默认为60秒。
proxy_send_timeout 1; #nginx服务器想被代理服务器组发出write请求后，等待响应的超时间，默认为60秒。
proxy_ignore_client_abort on; #客户端断网时，nginx服务器是否中断对被代理服务器的请求。默认为off。使用 upstream 指令配置一组服务器作为被代理服务器，服务器中的访问算法遵循配置的负载均衡规则，同时可以使用该指令配置在发生哪些异常情况时，将请求顺次交由下一组服务器处理。
proxy_next_upstream timeout; #反向代理 upstream 中设置的服务器组，出现故障时，被代理服务器返回的状态值。error|timeout|invalid_header|http_500|http_502|http_503|http_504|http_404|offerror：建立连接或向被代理的服务器发送请求或读取响应信息时服务器发生错误。
timeout：建立连接，想被代理服务器发送请求或读取响应信息时服务器发生超时。
invalid_header:被代理服务器返回的响应头异常。
off:无法将请求分发给被代理的服务器。
http_400，....:被代理服务器返回的状态码为400，500，502，等。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）