通过S3FS在AWS EC2实例间高效共享与展示文件列表

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

通过S3FS在AWS EC2实例间高效共享与展示文件列表

2025-11-10

浏览次数：次

返回列表

通过S3FS在AWS EC2实例间高效共享与展示文件列表

本文旨在解决在aws ec2多实例环境中，一个ec2实例如何安全、高效地访问并展示另一个ec2实例上文件列表的问题。传统的直接http路径或本地文件系统操作无法满足需求。通过引入s3fs工具，将aws s3存储桶挂载为本地文件系统，我们可以在多个ec2实例间实现文件内容的同步访问与展示，从而构建分布式且易于管理的应用程序架构。

在分布式应用架构中，尤其是在AWS EC2环境下，经常会遇到一个EC2实例（例如管理界面）需要访问并展示另一个EC2实例（例如文件存储服务器）上特定目录文件列表的需求。直接通过HTTP路径访问远程实例上的文件目录，或者尝试将远程路径视为本地文件系统路径进行操作，通常会导致失败，因为这不符合文件系统访问的机制。

挑战分析

考虑以下场景：一个管理界面EC2实例（实例A）需要显示另一个文件存储EC2实例（实例B）上 /upload_directory/ 目录中的文件列表。如果实例A尝试使用PHP的 scandir() 函数并指定一个本地路径，例如 upload_directory/，它只能访问实例A自身的文件。如果实例A尝试将路径更改为实例B的HTTP地址，例如 http://xx.xxx.xxx.xx/upload_directory/，scandir() 函数将无法解析此URL作为一个可扫描的文件系统路径，因为它是一个网络资源而非本地目录。

// 在本地测试时，此脚本可以工作
$path = "upload_directory/";
$files = scandir($path);
foreach($files as $file) {
    if ($file[0] != '.') {
        $nothidden[] = $file;
    }
}
for ($x=0;$x<count($nothidden);$x++){
    // ${'file'.$x} = $nothidden[$x]; // 原始代码中的变量赋值可能不是最佳实践
    echo $nothidden[$x] . "<br>";
}

// 当尝试访问远程HTTP路径时，此方法无效
// $path = "http://xx.xxx.xxx.xx/upload_directory/";
// $files = scandir($path); // 会失败

这种情况下，仅仅调整安全组出站规则是不足以解决文件系统层面的访问问题的。我们需要一个能够将远程存储“本地化”的解决方案。

解决方案：利用S3FS实现S3存储桶的本地挂载

最有效且推荐的方法是利用AWS S3存储桶作为共享存储介质，并结合S3FS-FUSE工具将其挂载到EC2实例的本地文件系统。这样，两个EC2实例都可以将同一个S3存储桶视为本地目录进行读写操作，从而实现文件列表的共享与展示。

1. 准备AWS S3存储桶

首先，您需要在AWS中创建一个S3存储桶。这个存储桶将用于存储您的文件，并且两个EC2实例都将访问它。

2. 配置IAM权限

为了安全地访问S3存储桶，您应该为EC2实例配置适当的IAM角色。此IAM角色应至少包含对目标S3存储桶的读写权限（例如 s3:GetObject, s3:ListBucket, s3:PutObject, s3:DeleteObject 等）。将此IAM角色附加到您的EC2实例上，这比直接在实例上配置AWS访问密钥更安全。

如果您选择不使用IAM角色，则需要配置AWS访问密钥和秘密访问密钥，但这通常不推荐用于生产环境。

3. 安装S3FS-FUSE

S3FS-FUSE是一个开源工具，允许您将S3存储桶挂载为本地文件系统。在每个需要访问S3存储桶的EC2实例（即实例A和实例B）上，都需要安装S3FS。

请参照S3FS-FUSE的官方GitHub仓库获取最新的安装指南： https://www.php.cn/link/523d6984fa5aa355c0f4b63b564ce892

通常，在Ubuntu等基于Debian的系统上，安装过程可能涉及安装依赖、编译和安装：

# 安装依赖
sudo apt-get update
sudo apt-get install automake autotools-dev fuse g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config

# 克隆s3fs仓库
git clone https://www.php.cn/link/523d6984fa5aa355c0f4b63b564ce892.git
cd s3fs-fuse

# 编译和安装
./autogen.sh
./configure
make
sudo make install

4. 挂载S3存储桶

安装S3FS后，您可以在两个EC2实例上将S3存储桶挂载到指定的本地目录。

使用IAM角色挂载（推荐）：

如果您的EC2实例已附加具有S3读写权限的IAM角色，则可以使用以下命令进行挂载：

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情 Yaara

sudo /usr/local/bin/s3fs -o allow_other -o iam_role='您的IAM角色名称' 您的S3桶名称 /mnt/s3fs/pathlocal

您的S3桶名称: 替换为您的S3存储桶的实际名称。
/mnt/s3fs/pathlocal: 替换为您希望在本地挂载S3存储桶的目录。请确保此目录已存在（例如 sudo mkdir -p /mnt/s3fs/pathlocal）。
-o allow_other: 允许非root用户访问挂载点。
-o iam_role='您的IAM角色名称': 指定EC2实例的IAM角色名称。

使用AWS访问密钥挂载（不推荐用于生产环境）：

如果您没有使用IAM角色，或者出于特定测试目的，您可以在 /etc/passwd-s3fs 文件中存储AWS访问密钥和秘密访问密钥，并设置文件权限为 600。

echo "您的AWS访问密钥ID:您的AWS秘密访问密钥" > /etc/passwd-s3fs
sudo chmod 600 /etc/passwd-s3fs

sudo /usr/local/bin/s3fs -o allow_other 您的S3桶名称 /mnt/s3fs/pathlocal

重要提示： 上述挂载操作需要在两个EC2实例上都执行。这意味着实例A和实例B都将把同一个S3存储桶挂载到它们各自的 /mnt/s3fs/pathlocal 目录。

5. 配置开机自动挂载

为了确保EC2实例重启后S3存储桶能自动挂载，您可以将挂载命令添加到 /etc/rc.local 文件中。

编辑 /etc/rc.local 文件（如果不存在可能需要创建并赋予执行权限 sudo chmod +x /etc/rc.local）：

sudo nano /etc/rc.local

在 exit 0 行之前添加您的挂载命令，例如：

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

# 确保挂载点存在
mkdir -p /mnt/s3fs/pathlocal

# 使用IAM角色自动挂载S3桶
/usr/local/bin/s3fs -o allow_other -o iam_role='您的IAM角色名称' 您的S3桶名称 /mnt/s3fs/pathlocal

exit 0

保存并退出。

6. 更新PHP脚本

一旦S3存储桶在两个EC2实例上都成功挂载到 /mnt/s3fs/pathlocal 路径，并且您将文件上传到S3存储桶（通过实例B，或者直接通过AWS控制台），实例A上的PHP脚本就可以像访问本地文件一样访问这些文件了。

如果您的文件在S3存储桶中是直接位于根目录，或者位于 /upload_directory/ 路径下，那么实例A上的PHP脚本可以修改为：

// 假设S3桶挂载在 /mnt/s3fs/pathlocal
// 并且您的文件在S3桶的根目录或子目录
$path = "/mnt/s3fs/pathlocal/upload_directory/"; // 确保此路径与S3桶内的实际文件路径对应
$files = scandir($path);

if ($files !== false) {
    foreach($files as $file) {
        if ($file[0] != '.') { // 排除隐藏文件
            echo $file . "<br>";
        }
    }
} else {
    echo "无法读取目录或目录不存在。";
}

现在，当实例A运行此PHP脚本时，它实际上是在访问通过S3FS挂载的S3存储桶中的文件，从而实现了远程文件列表的展示。

注意事项与最佳实践

数据一致性： S3FS提供了对S3的访问，S3本身是一个最终一致性存储。这意味着在某些情况下，文件操作（如上传、删除）后，立即尝试读取可能不会立即反映最新状态。对于文件列表展示，这通常不是大问题，但在高并发写入和即时读取场景下需要注意。
性能： 通过S3FS访问S3的性能会受到网络延迟和S3服务本身的影响，可能不如直接访问本地SSD。对于需要极高性能文件操作的应用，可能需要考虑其他方案（如EFS）。
成本： 使用S3会产生存储费用、数据传输费用和请求费用。确保了解这些成本模型。
安全： 始终优先使用IAM角色来授权EC2实例访问S3，避免在实例上硬编码AWS访问密钥。确保IAM角色的权限是最小必需权限。
错误处理： 在您的PHP脚本中，添加对 scandir() 返回值的检查，以优雅地处理目录不存在或无法访问的情况。
文件路径： 仔细管理S3存储桶中的文件结构，并确保PHP脚本中的路径与S3FS挂载后的本地路径准确对应。

总结

通过S3FS-FUSE工具将AWS S3存储桶挂载到EC2实例的本地文件系统，我们成功地解决了在分布式EC2环境中访问和展示远程文件列表的难题。这种方法不仅提供了灵活的文件共享机制，还利用了S3的高可用性和持久性。通过合理配置IAM权限和开机自动挂载，可以构建出健壮且易于管理的文件服务架构。

以上就是通过S3FS在AWS EC2实例间高效共享与展示文件列表的详细内容，更多请关注php中文网其它相关文章！

# 不存在 # 国外网站建设文案 # 山东网站建设套餐报价 # 白坭seo优化查询 # 涂书网站建设游戏 # 电商营销推广规则 # 历史年度关键词排名优化 # 软件网站排行榜优化大师 # 公众号关键词seo # 桂林本地网站建设优化 # zen cart url seo # 情况下 # 您将 # 上都 # 是在 # php # 您可以 # 是一个 # 文件系统 # 文件列表 # 您的 # php脚本 # 本地化 # curl # ssl # 工具 # ubuntu # 编码 # github # git

相关栏目：【科技资讯46185 】【网络学院92790 】

上一篇：Python描述符中实例属性同名引发的递归问题及解决方案

下一篇：c++怎么捕获和处理SIGSEGV等系统信号_c++程序崩溃信号捕获与恢复机制

首页

关于我们

产品展示

咨询研究

新闻中心

留言板

联系我们

新闻中心 NEWS CENTER

通过S3FS在AWS EC2实例间高效共享与展示文件列表

挑战分析

解决方案：利用S3FS实现S3存储桶的本地挂载

1. 准备AWS S3存储桶

2. 配置IAM权限

3. 安装S3FS-FUSE

4. 挂载S3存储桶

5. 配置开机自动挂载

6. 更新PHP脚本

注意事项与最佳实践

总结