Etcd 配置优化

etcd 作为分布式键值存储系统，在 Kubernetes、微服务架构等场景中扮演核心角色。其性能直接影响集群的稳定性和响应速度。对于etcd的优化有以下几点

硬件与部署优化

• 磁盘性能：

  • 必须使用 SSD：etcd 依赖持久化日志（WAL）和数据存储，HDD 的随机 I/O 性能会成为瓶颈。
  • 独立磁盘：将 WAL 目录（--wal-dir）与数据目录（--data-dir）分离，避免 I/O 竞争。
  • 磁盘调度策略：设置为 deadline 或 noop（如 Linux 下通过 echo deadline > /sys/block/sdX/queue/scheduler）。
  • 文件系统：推荐 ext4 或 XFS，禁用 atime 更新（挂载选项添加 noatime）。

• 内存与 CPU：

  • 内存容量：确保内存足够容纳所有键值数据（etcd 会缓存大部分数据），建议预留 8GB 以上。
  • CPU 核数：多核 CPU 可提升并发处理能力，建议 4 核以上。

• 网络：

  • 低延迟网络：节点间 RTT（Round-Trip Time）应小于 1ms，跨数据中心部署需谨慎。
  • 专用网络：避免与其他高流量服务共享网络带：

• 集群节点数：

  • 推荐 3、5 或 7 个节点，奇数节点避免脑裂。
  • 避免超过 7 个节点，增加节点会降低写入性能（每次写入需多数节点确认）。

配置参数调优

1. 存储与 I/O 优化

• wal-dir 与 data-dir 分离：

  data-dir: '/var/lib/etcd/data' # 数据目录 wal-dir: '/var/lib/etcd/wal' # WAL 日志目录（独立磁盘路径）

• 磁盘调度策略：需在操作系统层面配置（如 deadline 调度器）。

2. 选举与心跳调优

• 心跳间隔与选举超时：

  heartbeat-interval: 200 # 适当增大以减少 Leader 广播压力 election-timeout: 2000 # 通常设为心跳间隔的 5-10 倍

  • 确保 election-timeout > 5 * heartbeat-interval，避免误判 Leader 失联。

3. 存储配额与压缩

• 配额与自动压缩：

  quota-backend-bytes: 17179869184 # 16GB（按需调整） auto-compaction-mode: periodic # 定期压缩旧版本数据 auto-compaction-retention: "2h" # 保留 2 小时历史版本

• 碎片整理：需通过 etcdctl defrag 手动触发，或结合监控工具定期执行。

4. 网络与并发

• 客户端连接限制：

  max-concurrent-requests: 5000 # 提升并发处理上限 max-request-bytes: 10485760 # 支持大请求（如批量写入）

5. 安全配置

• TLS 加密：

  client-transport-security: cert-file: '/path/to/server.crt' key-file: '/path/to/server.key' client-cert-auth: true # 启用客户端证书认证

• 证书优化：优先使用 ECDSA 证书（更高效），例如：

  openssl ecparam -genkey -name prime256v1 -noout -out server.key

备份与还原

1. 手动备份命令

使用 etcdctl snapshot save 进行快照备份：

ETCDCTL_API=3 etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/etcd/ssl/ca.crt \
--cert=/etc/etcd/ssl/client.crt \
--key=/etc/etcd/ssl/client.key \
snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db

建议将ip更换为etcd节点ip

2. 自动化定时备份

方案一：使用 cron 定时任务

1. 编写备份脚本 (/usr/local/bin/etcd-backup.sh)：

#!/bin/bash
BACKUP_DIR="/backup/etcd"
DATE=$(date +%Y%m%d)
ETCDCTL_CMD="etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/etcd/ssl/ca.crt --cert=/etc/etcd/ssl/client.crt --key=/etc/etcd/ssl/client.key"
# 创建备份目录 
mkdir -p ${BACKUP_DIR}
# 执行备份 
${ETCDCTL_CMD} snapshot save ${BACKUP_DIR}/etcd-snapshot-${DATE}.db  
# 删除 7 天前的旧备份 
find ${BACKUP_DIR} -name "etcd-snapshot-*.db" -mtime +7 -exec rm -f {} \;
    

2. 赋予脚本执行权限：

   chmod +x /usr/local/bin/etcd-backup.sh

3. 配置 cron 每天凌晨 2 点执行：

   crontab -e

   添加以下内容：

   0 2 * * * /usr/local/bin/etcd-backup.sh >> /var/log/etcd-backup.log 2>&1

方案二：使用 Kubernetes CronJob（适用于 Kubernetes 集群）

若 etcd 运行在 Kubernetes 中，可通过 CronJob 实现备份：

apiVersion: batch/v1
kind: CronJob
metadata:
  name: etcd-backup
spec:
  schedule: "0 2 * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: etcd-backup
            image: quay.io/coreos/etcd:v3.5.0
            command:
              - /bin/sh
              - -c
              - |
                ETCDCTL_API=3 etcdctl \
                  --endpoints=https://<etcd-service-ip>:2379 \
                  --cacert=/etc/etcd/ssl/ca.crt \
                  --cert=/etc/etcd/ssl/client.crt \
                  --key=/etc/etcd/ssl/client.key \
                  snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db
            volumeMounts:
              - name: etcd-certs
                mountPath: /etc/etcd/ssl
              - name: backup-volume
                mountPath: /backup
          restartPolicy: OnFailure
          volumes:
            - name: etcd-certs
              secret:
                secretName: etcd-certs
            - name: backup-volume
              persistentVolumeClaim:
                claimName: etcd-backup-pvc

apiVersion: batch/v1
kind: CronJob
metadata:
  name: etcd-backup
spec:
  schedule: "30 8 * * *"
  jobTemplate:
    spec: 
      ttlSecondsAfterFinished: 7200
      template:
        spec:
          nodeSelector:
            jobtype: etcd-backup
          containers:
          - name: etcd-backup
            image: quay.io/coreos/etcd:v3.5.0
            command:
              - /bin/sh
              - -c
              - |
                ETCDCTL_API=3 etcdctl \
                  --endpoints=https://192.168.28.11:2379 \
                  --cacert=/etc/etcd/ssl/etcd-ca.pem \
                  --cert=/etc/etcd/ssl/etcd.pem \
                  --key=/etc/etcd/ssl/etcd-key.pem \
                  snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db
            volumeMounts:
              - name: etcd-certs
                mountPath: /etc/etcd/ssl/
              - name: backup-volume
                mountPath: /backup/
          restartPolicy: OnFailure
          volumes:
            - name: etcd-certs
              hostPath:
                path: /etc/etcd/ssl # 主机上的目录位置
                type: Directory # 此字段可选
            - name: backup-volume
              hostPath:
                path: /opt/test/etcd-backup
                type: Directory 

3. 备份验证与恢复

验证备份完整性

ETCDCTL_API=3 etcdctl --write-out=table snapshot status /backup/etcd-snapshot-20231001.db

从备份恢复集群

1. 停止 etcd 服务：

   systemctl stop etcd

2. 恢复快照：

ETCDCTL_API=3 etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/etcd/ssl/ca.crt \
--cert=/etc/etcd/ssl/client.crt \
--key=/etc/etcd/ssl/client.key \
snapshot restore /backup/etcd-snapshot-20231001.db \
--data-dir /var/lib/etcd-restored    

3. 修改 etcd 数据目录并重启：

mv /var/lib/etcd /var/lib/etcd-old 
mv /var/lib/etcd-restored /var/lib/etcd 
systemctl start etcd
	    

4. 注意事项

1. 备份存储安全：

   • 将备份文件保存到与 etcd 节点隔离的存储（如 S3、NFS）。
   • 启用备份文件加密（如使用 gpg 或云存储服务端加密）。

2. 分布式集群备份：

   • 对每个 etcd 节点单独备份，或仅备份 Leader 节点（通过 endpoint status 查询 Leader）。

3. 监控备份任务：

   • 检查 cron 日志 (/var/log/cron) 或 Kubernetes Job 状态。
   • 使用 Prometheus 监控备份文件大小和最后修改时间。