Nginx 与 OpenResty 高并发反向代理调优及 Lua 动态限流实战
在高并发网关架构中,Nginx 与基于 LuaJIT 的 OpenResty 常作为核心反向代理与流量治理层。若仅使用默认配置,往往会在连接数飙升、后端短连接耗尽或突发流量冲击时出现性能瓶颈。本文结合生产实践,系统梳理高并发场景下的底层调优、Upstream 长连接池管理、Lua 动态限流及热重载运维要点。
一、核心进程、事件模型与 TCP 参数调优
1.1 Worker 进程与文件描述符上限
建议将 worker_processes 设置为 auto(与物理 CPU 核数保持一致),并配合 worker_cpu_affinity auto; 减少跨核上下文切换开销。同时,必须同步提升单进程可打开的最大文件句柄数:
worker_processes auto;
worker_cpu_affinity auto;
worker_rlimit_nofile 655350;
events {
use epoll;
worker_connections 65535;
multi_accept on;
accept_mutex off;
}
在高并发短连接或长连接场景下,关闭 accept_mutex 可避免惊群锁竞争(现代 Linux 内核已支持 EPOLLEXCLUSIVE),开启 multi_accept on 则允许单个 Worker 一次性接收尽可能多的新连接。
1.2 内核与 Nginx TCP 调优
在 http 块及宿主机 /etc/sysctl.conf 中优化连接队列与端口复用:
- 开启
sendfile on;、tcp_nopush on;与tcp_nodelay on;,兼顾大文件零拷贝传输与小包低延迟。 - 调大
net.core.somaxconn = 65535与net.ipv4.tcp_max_syn_backlog = 65535,并在 Nginxlisten指令中显式指定backlog=65535与reuseport。 - 设置
net.ipv4.tcp_tw_reuse = 1与合理的keepalive_timeout 65;,避免大量TIME_WAIT状态耗尽本地端口。
二、Upstream 长连接池 keepalive 配置实战
默认情况下,Nginx 对上游服务采用 HTTP/1.0 短连接,每次转发都会经历 TCP 三次握手与四次挥手,极易导致代理机与后端之间产生大量 TIME_WAIT。通过配置 keepalive 连接池可显著降低延迟与 CPU 消耗:
upstream backend_pool {
server 10.0.1.11:8080 max_fails=3 fail_timeout=15s;
server 10.0.1.12:8080 max_fails=3 fail_timeout=15s;
keepalive 256;
keepalive_requests 10000;
keepalive_timeout 60s;
}
server {
location /api/ {
proxy_pass http://backend_pool;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_connect_timeout 3s;
proxy_read_timeout 15s;
}
}
关键注意事项:必须显式声明 proxy_http_version 1.1; 且清空 Connection 请求头(proxy_set_header Connection "";),否则上游长连接无法生效;keepalive 256 表示每个 Worker 进程最多缓存 256 个空闲长连接。
三、基于 lua-resty-limit-traffic 的动态令牌桶限流
在 OpenResty 中,静态 limit_req 难以应对多租户或实时调整阈值的需求。利用 resty.limit.req 结合 lua_shared_dict 可实现毫秒级动态限流:
lua_shared_dict my_limit_req_store 100m;
server {
location /api/ {
access_by_lua_block {
local limit_req = require "resty.limit.req"
-- 可从共享内存或动态配置中心读取 rate 与 burst
local rate = 500
local burst = 200
local lim, err = limit_req.new("my_limit_req_store", rate, burst)
if not lim then
ngx.log(ngx.ERR, "failed to instantiate limit_req: ", err)
return ngx.exit(500)
end
local key = ngx.var.http_x_tenant_id or ngx.var.binary_remote_addr
local delay, err = lim:incoming(key, true)
if not delay then
if err == "rejected" then
ngx.header["Retry-After"] = "1"
return ngx.exit(429)
end
return ngx.exit(500)
end
if delay >= 0.001 then
ngx.sleep(delay)
end
}
proxy_pass http://backend_pool;
}
}
通过将限流维度 key 抽象为租户 ID 或接口路径,并配合定时任务 ngx.timer.every 同步 Redis/Etcd 中的限流规则,即可在不重启服务的前提下实现精细化动态限流。
四、灰度热重载与监控排查要点
- 配置校验与平滑重载:变更配置前务必执行
openresty -t校验语法,随后使用openresty -s reload触发平滑重载。需注意若存在大量长连接(如 WebSocket 或大文件下载),旧 Worker 进程可能长期处于shutting down状态,建议配置worker_shutdown_timeout 30s;防止内存泄漏。 - 核心监控指标:重点关注
nginx_vts或 Prometheus 导出的5xx/429状态码比例、上游建连耗时($upstream_connect_time)与响应耗时($upstream_response_time)。 - 常见异常排查:若出现
no live upstreams,需排查健康检查与max_fails阈值是否过于敏感;若出现Too many open files,则需同时核查系统ulimit -n、systemdLimitNOFILE与 Nginxworker_rlimit_nofile是否一致。
- 点赞
- 收藏
- 关注作者
评论(0)