- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

从零开始入门 K8s：理解 etcd

William 发表于 2025/07/14 09:08:47 2025/07/14

【摘要】从零开始入门 K8s：理解 etcd1. 引言Kubernetes（简称 K8s）作为容器编排领域的标准，其核心依赖于分布式键值存储系统 etcd 实现集群状态管理。etcd 的高可用性、强一致性和高性能特性，使其成为 K8s 控制平面的“大脑”。本文将从零开始，深入解析 etcd 的原理、在 K8s 中的核心作用，并通过代码示例与场景实践帮助读者掌握其应用方法。2. 技...

从零开始入门 K8s：理解 etcd

1. 引言

Kubernetes（简称 K8s）作为容器编排领域的标准，其核心依赖于分布式键值存储系统 etcd 实现集群状态管理。etcd 的高可用性、强一致性和高性能特性，使其成为 K8s 控制平面的“大脑”。本文将从零开始，深入解析 etcd 的原理、在 K8s 中的核心作用，并通过代码示例与场景实践帮助读者掌握其应用方法。

2. 技术背景

2.1 etcd 的诞生与定位

起源：由 CoreOS 团队开发，最初为解决分布式系统的一致性问题。
设计目标：
- 强一致性：基于 Raft 共识算法保证数据一致性。
- 高可用性：支持多节点集群部署，容忍节点故障。
- 轻量级：低资源消耗，适合嵌入到 Kubernetes 等系统中。

2.2 etcd 在 K8s 中的角色

集群状态存储：保存 K8s 的所有配置数据（如 Pod、Service、Deployment 状态）。
配置管理：存储集群级别的配置信息（如认证证书、网络策略）。
领导者选举：支持 K8s 组件（如 Controller Manager）的高可用选举。

2.3 技术挑战

数据一致性：如何在分布式环境下保证读写操作的强一致性？
性能优化：大规模集群下如何平衡读写延迟与吞吐量？
安全防护：如何防止未授权访问和数据泄露？

3. 应用使用场景

3.1 场景1：K8s 集群状态存储

目标：通过 etcd 存储和管理 K8s 的 Pod、Deployment 等资源状态。

3.2 场景2：分布式锁与领导者选举

目标：利用 etcd 的租约（Lease）机制实现 K8s 组件的故障转移。

3.3 场景3：配置中心

目标：将集群配置（如数据库连接串）存储在 etcd 中，供各节点动态读取。

4. 不同场景下详细代码实现

4.1 环境准备

4.1.1 开发环境配置

工具链：
- etcdctl：etcd 的命令行客户端（版本需与集群匹配）。
- Go 或 Python SDK：用于编程交互（本文以 Go 为例）。

本地部署 etcd（单机模式）：

# 下载并启动 etcd（Linux/macOS）
wget https://github.com/etcd-io/etcd/releases/download/v3.5.0/etcd-v3.5.0-linux-amd64.tar.gz
tar xvf etcd-v3.5.0-linux-amd64.tar.gz
cd etcd-v3.5.0-linux-amd64
./etcd  # 默认监听 127.0.0.1:2379

4.1.2 验证 etcd 服务

# 写入键值对
./etcdctl put mykey "Hello etcd"
# 读取键值对
./etcdctl get mykey
# 输出：mykey Hello etcd

4.2 场景1：K8s 集群状态存储模拟

4.2.1 使用 etcdctl 管理 K8s 资源状态

# 模拟存储一个 Deployment 状态
./etcdctl put /k8s/deployments/nginx "replicas=3,image=nginx:1.23"

# 读取状态
./etcdctl get /k8s/deployments/nginx
# 输出：/k8s/deployments/nginx replicas=3,image=nginx:1.23

4.2.2 Go 代码实现状态读写

package main

import (
	"context"
	"fmt"
	"go.etcd.io/etcd/clientv3"
	"time"
)

func main() {
	// 创建 etcd 客户端
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"}, // etcd 地址
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		panic(err)
	}
	defer cli.Close()

	// 写入状态
	_, err = cli.Put(context.Background(), "/k8s/deployments/nginx", "replicas=3,image=nginx:1.23")
	if err != nil {
		panic(err)
	}

	// 读取状态
	resp, err := cli.Get(context.Background(), "/k8s/deployments/nginx")
	if err != nil {
		panic(err)
	}
	for _, kv := range resp.Kvs {
		fmt.Printf("Key: %s, Value: %s\n", kv.Key, kv.Value)
	}
}

4.3 场景2：分布式锁实现

4.3.1 使用 etcd 的租约机制

package main

import (
	"context"
	"fmt"
	"go.etcd.io/etcd/clientv3"
	"time"
)

func main() {
	cli, err := clientv3.New(clientv3.Config{Endpoints: []string{"127.0.0.1:2379"}})
	if err != nil {
		panic(err)
	}
	defer cli.Close()

	// 创建租约（10秒过期）
	leaseResp, err := cli.Grant(context.Background(), 10)
	if err != nil {
		panic(err)
	}

	// 尝试获取锁（Key: /locks/mylock）
	_, err = cli.Put(context.Background(), "/locks/mylock", "locked", clientv3.WithLease(leaseResp.ID))
	if err != nil {
		panic(err)
	}
	fmt.Println("成功获取锁")

	// 模拟业务处理
	time.Sleep(5 * time.Second)

	// 释放锁（租约到期后自动释放）
	fmt.Println("锁已释放（或等待租约过期）")
}

4.4 场景3：配置中心实现

4.4.1 动态读取配置

package main

import (
	"context"
	"fmt"
	"go.etcd.io/etcd/clientv3"
	"time"
)

func watchConfig(cli *clientv3.Client, key string) {
	// 监听配置变化
	watcher := clientv3.NewWatcher(cli)
	watchChan := watcher.Watch(context.Background(), key)

	for resp := range watchChan {
		for _, ev := range resp.Events {
			fmt.Printf("配置变更: 类型=%s, Key=%s, Value=%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
		}
	}
}

func main() {
	cli, err := clientv3.New(clientv3.Config{Endpoints: []string{"127.0.0.1:2379"}})
	if err != nil {
		panic(err)
	}
	defer cli.Close()

	// 初始读取配置
	resp, err := cli.Get(context.Background(), "/config/db_url")
	if err != nil {
		panic(err)
	}
	if len(resp.Kvs) > 0 {
		fmt.Printf("当前配置: %s\n", resp.Kvs[0].Value)
	}

	// 启动监听协程
	go watchConfig(cli, "/config/db_url")

	// 模拟配置更新（另一终端执行：etcdctl put /config/db_url "mysql://new:pass@10.0.0.1:3306/db"）
	time.Sleep(60 * time.Second)
}

5. 原理解释与原理流程图

5.1 etcd 核心原理

Raft 共识算法：
- 所有写操作需通过多数节点（Quorum）确认，保证强一致性。
- Leader 节点负责处理写请求，Follower 节点同步数据。
键值存储模型：
- 数据按 Key 的字典序存储，支持范围查询（如 etcdctl get /k8s/deployments --prefix）。

5.2 原理流程图

[客户端写入请求]
  → [Leader 节点接收请求]
    → [Leader 将日志复制到 Follower 节点]
      → [多数节点确认后提交日志]
        → [Leader 返回成功响应]
          → [客户端收到确认]

6. 环境准备与部署

6.1 生产环境部署建议

集群规模：至少 3 节点（容忍 1 节点故障）。
持久化存储：使用 SSD 磁盘并配置定期快照。
网络隔离：通过防火墙限制 etcd 端口（2379/2380）的访问权限。

7. 运行结果

7.1 测试用例1：状态存储验证

操作：通过 etcdctl 和 Go 代码写入/读取键值对。
预期结果：数据一致且无丢失。

7.2 测试用例2：分布式锁有效性

操作：启动多个实例竞争同一锁。
预期结果：仅一个实例成功获取锁，其他实例阻塞或超时。

8. 测试步骤与详细代码

8.1 集成测试脚本

// 文件：etcd_test.go
package main

import (
	"context"
	"testing"
	"go.etcd.io/etcd/clientv3"
)

func TestPutAndGet(t *testing.T) {
	cli, err := clientv3.New(clientv3.Config{Endpoints: []string{"127.0.0.1:2379"}})
	if err != nil {
		t.Fatal(err)
	}
	defer cli.Close()

	_, err = cli.Put(context.Background(), "test_key", "test_value")
	if err != nil {
		t.Fatal(err)
	}

	resp, err := cli.Get(context.Background(), "test_key")
	if err != nil || len(resp.Kvs) == 0 {
		t.Fatal("读取失败")
	}
	if string(resp.Kvs[0].Value) != "test_value" {
		t.Fatal("值不匹配")
	}
}

9. 部署场景

9.1 K8s 集群内部署 etcd

# 文件：etcd-deployment.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: etcd
spec:
  serviceName: etcd
  replicas: 3
  selector:
    matchLabels:
      app: etcd
  template:
    metadata:
      labels:
        app: etcd
    spec:
      containers:
      - name: etcd
        image: quay.io/coreos/etcd:v3.5.0
        command: ["etcd"]
        args: [
          "--name", "$(POD_NAME)",
          "--listen-client-urls", "http://0.0.0.0:2379",
          "--advertise-client-urls", "http://$(POD_NAME).etcd:2379",
          "--initial-cluster", "etcd-0=http://etcd-0.etcd:2380,etcd-1=http://etcd-1.etcd:2380,etcd-2=http://etcd-2.etcd:2380",
          "--initial-cluster-token", "etcd-cluster",
          "--initial-cluster-state", "new"
        ]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        ports:
        - containerPort: 2379
          name: client
        - containerPort: 2380
          name: peer

10. 疑难解答

常见问题1：etcd 集群无法选举 Leader

原因：网络分区或节点配置错误。
解决：检查节点日志（journalctl -u etcd），确认 --initial-cluster 参数一致。

常见问题2：读写延迟过高

原因：磁盘 I/O 瓶颈或网络拥塞。
解决：使用 SSD 存储，优化网络带宽（如启用 gRPC 压缩）。

11. 未来展望与技术趋势

11.1 技术趋势

etcd v3.6+ 新特性：支持更细粒度的权限控制（RBAC）、改进的 Watch 性能。
与 WASM 集成：通过 WebAssembly 扩展 etcd 的数据处理能力。

11.2 挑战

多租户隔离：如何在共享集群中保障不同租户的数据安全？
云原生扩展：在 Serverless 环境下如何适配 etcd 的长连接模型？

12. 总结

本文从 etcd 的核心原理出发，结合 K8s 的实际应用场景，通过代码示例与测试验证，帮助读者深入理解 etcd 在分布式系统中的关键作用。掌握 etcd 不仅能提升对 K8s 底层的认知，也为构建高可靠、可扩展的分布式系统奠定了基础。

【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com

点赞
收藏
关注作者

0/1000

抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认取消

加入云驻计划，成为创作者

华为云周边好礼
免费体验产品
特殊身份标识
线下官方门票
内部专家零距离
与10000+优质创作者共同成长

立即加入

从零开始入门 K8s：理解 etcd

从零开始入门 K8s：理解 etcd

​​1. 引言​​

​​2. 技术背景​​

​​2.1 etcd 的诞生与定位​​

​​2.2 etcd 在 K8s 中的角色​​

​​2.3 技术挑战​​

​​3. 应用使用场景​​

​​3.1 场景1：K8s 集群状态存储​​

​​3.2 场景2：分布式锁与领导者选举​​

​​3.3 场景3：配置中心​​

​​4. 不同场景下详细代码实现​​

​​4.1 环境准备​​

​​4.1.1 开发环境配置​​

​​4.1.2 验证 etcd 服务​​

​​4.2 场景1：K8s 集群状态存储模拟​​

​​4.2.1 使用 etcdctl 管理 K8s 资源状态​​

​​4.2.2 Go 代码实现状态读写​​

​​4.3 场景2：分布式锁实现​​

​​4.3.1 使用 etcd 的租约机制​​

​​4.4 场景3：配置中心实现​​

​​4.4.1 动态读取配置​​

​​5. 原理解释与原理流程图​​

​​5.1 etcd 核心原理​​

​​5.2 原理流程图​​

​​6. 环境准备与部署​​

​​6.1 生产环境部署建议​​

​​7. 运行结果​​

​​7.1 测试用例1：状态存储验证​​

​​7.2 测试用例2：分布式锁有效性​​

​​8. 测试步骤与详细代码​​

​​8.1 集成测试脚本​​

​​9. 部署场景​​

​​9.1 K8s 集群内部署 etcd​​

​​10. 疑难解答​​

​​常见问题1：etcd 集群无法选举 Leader​​

​​常见问题2：读写延迟过高​​

​​11. 未来展望与技术趋势​​

​​11.1 技术趋势​​

​​11.2 挑战​​

​​12. 总结​​

全部回复

设置昵称

关于作者

目录

热门推荐查看更多

相关文章

加入云驻计划，成为创作者

相关产品

1. 引言

2. 技术背景

2.1 etcd 的诞生与定位

2.2 etcd 在 K8s 中的角色

2.3 技术挑战

3. 应用使用场景

3.1 场景1：K8s 集群状态存储

3.2 场景2：分布式锁与领导者选举

3.3 场景3：配置中心

4. 不同场景下详细代码实现

4.1 环境准备

4.1.1 开发环境配置

4.1.2 验证 etcd 服务

4.2 场景1：K8s 集群状态存储模拟

4.2.1 使用 etcdctl 管理 K8s 资源状态

4.2.2 Go 代码实现状态读写

4.3 场景2：分布式锁实现

4.3.1 使用 etcd 的租约机制

4.4 场景3：配置中心实现

4.4.1 动态读取配置

5. 原理解释与原理流程图

5.1 etcd 核心原理

5.2 原理流程图

6. 环境准备与部署

6.1 生产环境部署建议

7. 运行结果

7.1 测试用例1：状态存储验证

7.2 测试用例2：分布式锁有效性

8. 测试步骤与详细代码

8.1 集成测试脚本

9. 部署场景

9.1 K8s 集群内部署 etcd

10. 疑难解答

常见问题1：etcd 集群无法选举 Leader

常见问题2：读写延迟过高

11. 未来展望与技术趋势

11.1 技术趋势

11.2 挑战

12. 总结