EFS实战：在多台EC2实例中共享文件系统

一、项目背景

在云计算时代，随着企业应用的复杂性和数据量的不断增长，高效、灵活的存储解决方案成为必不可少的一部分。亚马逊弹性文件系统（Amazon EFS）作为一种完全托管的文件存储服务，允许用户在多台EC2实例之间共享文件系统，提供了高可用性、可扩展性和易于使用的特性。本文将深入探讨如何在AWS环境中使用EFS实现多台EC2实例之间的文件共享，结合实战部署和实例分析，帮助读者掌握这一关键技术。

二、前期准备

注册AWS账号

访问 [AWS官网]，点击“创建账户”进行注册。注册过程中需要填写相关信息，如名称、邮箱、电话号码、付款方式等，并完成身份验证。注册成功后，你将获得一个AWS账户，可以开始使用包括EFS和EC2在内的各种AWS服务。

了解EFS基本概念

在使用EFS之前，了解其基本概念至关重要。

• 文件系统：EFS中的核心资源，提供POSIX文件系统接口，支持标准文件操作。
• 挂载目标：EFS文件系统的接入点，允许EC2实例通过网络文件系统（NFS）协议挂载文件系统。
• 性能模式：EFS提供两种性能模式——通用和最大I/O，适用于不同的工作负载需求。

安装和配置AWS CLI

为了方便地通过命令行管理AWS服务，我们需要安装和配置AWS CLI（Command Line Interface）。

# 安装AWS CLI
curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip"
unzip awscli-bundle.zip
sudo ./awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws

# 配置AWS CLI
aws configure

在配置过程中，需要输入AWS访问密钥ID（Access Key ID）和秘密访问密钥（Secret Access Key），这些信息在注册AWS账户后可以在“安全凭证”页面找到。同时，设置默认区域（如us-east-1）和输出格式（如json）。

三、实战部署

创建EFS文件系统

首先，我们需要创建一个EFS文件系统，并配置其性能模式和吞吐量。

# 创建EFS文件系统
efs_file_system_id=$(aws efs create-file-system --performance-mode generalPurpose --throughput-mode bursting --query 'FileSystemId' --output text)

# 创建挂载目标，使其能够从EC2实例访问
aws efs create-mount-target --file-system-id $efs_file_system_id --subnet-id subnet-xxxxxxxx --security-groups sg-xxxxxxxx

创建EC2实例并挂载EFS

接下来，创建EC2实例，并在实例中挂载EFS文件系统。

# 创建EC2实例
instance_id=$(aws ec2 run-instances --image-id ami-0abcdef1234567890 --count 1 --instance-type t2.micro --key-name MyKeyPair --security-group-ids sg-xxxxxxxx --subnet-id subnet-xxxxxxxx --query 'Instances[0].InstanceId' --output text)

# 等待实例运行
aws ec2 wait instance-running --instance-ids $instance_id

# 获取EFS文件系统的DNS名称
efs_dns_name=$(aws efs describe-file-systems --file-system-ids $efs_file_system_id --query 'FileSystems[0].Name' --output text).fs-$(echo $efs_file_system_id | cut -d'-' -f2).efs.us-east-1.amazonaws.com

# 连接到EC2实例并挂载EFS
ssh -i MyKeyPair.pem ec2-user@$instance_public_ip << EOF
    sudo yum install -y nfs-utils
    sudo mkdir /mnt/efs
    sudo mount -t nfs4 -o nfsvers=4.1 $efs_dns_name:/ /mnt/efs
    echo "$efs_dns_name:/ /mnt/efs nfs4 nfsvers=4.1 0 0" | sudo tee -a /etc/fstab
EOF

使用Python SDK（Boto3）进行高级操作

除了命令行工具，我们还可以使用AWS SDK（如Python的Boto3）进行更复杂的EFS操作。

import boto3

# 创建EFS客户端
efs = boto3.client('efs')

# 创建EFS文件系统
response = efs.create_file_system(
    PerformanceMode='generalPurpose',
    ThroughputMode='bursting'
)
efs_file_system_id = response['FileSystemId']

# 创建挂载目标
efs.create_mount_target(
    FileSystemId=efs_file_system_id,
    SubnetId='subnet-xxxxxxxx',
    SecurityGroups=['sg-xxxxxxxx']
)

# 创建EC2实例
ec2 = boto3.resource('ec2')
instance = ec2.create_instances(
    ImageId='ami-0abcdef1234567890',
    MinCount=1,
    MaxCount=1,
    InstanceType='t2.micro',
    KeyName='MyKeyPair',
    SecurityGroupIds=['sg-xxxxxxxx'],
    SubnetId='subnet-xxxxxxxx'
)[0]

# 等待实例运行
instance.wait_until_running()

# 获取EFS文件系统的DNS名称
efs_dns_name = f"{efs.describe_file_systems(FileSystemIds=[efs_file_system_id])['FileSystems'][0]['Name']}.fs-{efs_file_system_id.split('-')[-1]}.efs.us-east-1.amazonaws.com"

# 连接到EC2实例并挂载EFS
# （此处省略SSH连接和挂载命令，与前面的命令行部分相同）

四、实例分析

实例一：Web应用静态内容共享

假设我们有一个Web应用，其静态内容（如图片、CSS、JavaScript文件）需要在多台EC2实例之间共享。通过将这些静态文件存储在EFS文件系统中，所有实例都可以实时访问相同的文件版本，确保应用的一致性。

# 在EFS文件系统中创建静态内容目录
ssh -i MyKeyPair.pem ec2-user@$instance_public_ip << EOF
    sudo mkdir /mnt/efs/static
    sudo chown -R ec2-user:ec2-user /mnt/efs/static
EOF

# 上传静态文件到EFS
scp -i MyKeyPair.pem /path/to/local/static/* ec2-user@$instance_public_ip:/mnt/efs/static/

# 在其他EC2实例中挂载EFS并访问静态文件
# （重复之前的挂载步骤，并确保所有实例都能访问/mnt/efs/static目录）

实例二：大数据分析中的共享存储

在大数据分析场景中，多个计算节点需要同时访问和处理存储在共享文件系统中的数据。EFS提供了高吞吐量和低延迟的存储性能，适用于这一场景。

# 创建高性能EFS文件系统
efs_file_system_id=$(aws efs create-file-system --performance-mode maxIO --throughput-mode provisioned --provisioned-throughput-in-mibps 100 --query 'FileSystemId' --output text)

# 创建挂载目标
aws efs create-mount-target --file-system-id $efs_file_system_id --subnet-id subnet-xxxxxxxx --security-groups sg-xxxxxxxx

# 在大数据分析节点中挂载EFS
# （挂载步骤与前面类似，确保所有分析节点都能访问EFS文件系统）

五、项目发展

随着业务的增长和需求的变化，我们可能需要对EFS的使用进行扩展和优化。

扩展文件系统性能

根据应用的需求，可以调整EFS文件系统的性能模式和吞吐量。

# 修改文件系统性能模式和吞吐量
aws efs update-file-system \
    --file-system-id $efs_file_system_id \
    --performance-mode maxIO \
    --throughput-mode provisioned \
    --provisioned-throughput-in-mibps 200

实现高可用性和容灾

通过在多个可用区创建挂载目标，并结合AWS的其他服务（如Route 53），可以实现EFS的高可用性和容灾。

# 在另一个可用区创建挂载目标
aws efs create-mount-target --file-system-id $efs_file_system_id --subnet-id subnet-yyyyyyyy --security-groups sg-xxxxxxxx

自动化文件系统管理

使用基础设施即代码（IaC）工具如Terraform，可以实现EFS和EC2实例的自动化部署和管理。

# 使用Terraform创建EFS文件系统和挂载目标
resource "aws_efs_file_system" "main" {
  performance_mode = "generalPurpose"
  throughput_mode  = "bursting"

  lifecycle {
    prevent_destroy = false
  }
}

resource "aws_efs_mount_target" "main" {
  file_system_id = aws_efs_file_system.main.id
  subnet_id      = "subnet-xxxxxxxx"
  security_groups = ["sg-xxxxxxxx"]
}

resource "aws_instance" "web" {
  ami           = "ami-0abcdef1234567890"
  instance_type = "t2.micro"
  key_name      = "MyKeyPair"
  subnet_id     = "subnet-xxxxxxxx"
  vpc_security_group_ids = ["sg-xxxxxxxx"]

  user_data = <<-EOF
              #!/bin/bash
              sudo yum install -y nfs-utils
              sudo mkdir /mnt/efs
              sudo mount -t nfs4 -o nfsvers=4.1 ${aws_efs_file_system.main.dns_name}:/ /mnt/efs
              echo "${aws_efs_file_system.main.dns_name}:/ /mnt/efs nfs4 nfsvers=4.1 0 0" | sudo tee -a /etc/fstab
              EOF
}

六、总结

本文深入探讨了如何在AWS环境中使用EFS实现多台EC2实例之间的文件共享，结合实战部署和实例分析，展示了EFS在不同场景下的应用和优势。从创建EFS文件系统、挂载到EC2实例，到在Web应用和大数据分析中的实际应用，EFS提供了强大的功能来满足企业对共享文件存储的需求。随着云计算技术的不断发展和企业对存储解决方案要求的日益提高，理解和掌握EFS对于每一个云从业者来说都是至关重要的。通过合理规划和配置EFS，企业可以构建一个既高效又可靠的共享文件存储环境，为业务的持续发展提供坚实的支持。

七、参考文献

• [AWS官方文档]

八、常见问题解答