s5cmd命令本身不支持在单条命令中为源和目标存储分别指定不同的认证（如endpoint_url、密钥），你需要使用一些间接方法来实现。
以下是几种主流方案的对比，可以帮助你根据具体需求进行选择：
| 方
案 | 核心思路 | 具体做法 | 适用场景 | ||
|---|---|---|---|---|---|
| 环境变量切换+管道传输 | 通过管道（` | `）连接两个命令，为每个命令单独设置认证环境变量。 | `AWS_ACCESS_KEY_ID=”源Key” … s5cmd cat “s3://src/*” | AWS_ACCESS_KEY_ID=”目标Key” … s5cmd pipe “s3://dst/*”` | 推荐，最直接，无需本地存储。 |
| 临时下载再上传 | 分两步执行，每次只认证一个存储。 | 1. 用源凭证下载到本地； 2. 用目标凭证从本地上传。 | 网络不稳定，或需中间处理数据时。 | ||
| 使用AWS配置文件 | 预先为两个存储配置不同的Profile。 | 分别用 AWS_PROFILE=源Profile 和 AWS_PROFILE=目标Profile 执行两步操作。 | 凭证长期固定，便于管理。 | ||
| 混合模式 | 一个用环境变量，另一个用配置文件或默认配置。 | 例如，源用Profile，目标用环境变量，配合管道使用。 | 其中一个存储是标准AWS S3。 |
如何操作
你可以根据上表的对比选择方案，以下是两种常见方案的具体命令示例。
方案一：环境变量结合管道传输（推荐）
这种方法数据流是直通的，不占用本地磁盘，效率最高。
# 1. 获取源存储的文件列表 AWS_ACCESS_KEY_ID="source_key" AWS_SECRET_ACCESS_KEY="source_secret" \ s5cmd --endpoint-url="https://your-source-endpoint" ls "s3://source-bucket/*" > file_list.txt # 2. 通过管道逐文件迁移 while read src_file; do AWS_ACCESS_KEY_ID="source_key" AWS_SECRET_ACCESS_KEY="source_secret" \ s5cmd --endpoint-url="https://your-source-endpoint" cat "$src_file" | \ AWS_ACCESS_KEY_ID="target_key" AWS_SECRET_ACCESS_KEY="target_secret" \ s5cmd --endpoint-url="https://your-target-endpoint" pipe "s3://target-bucket/${src_file#s3://source-bucket/}" done < file_list.txt
方案二：分两步操作（使用本地临时目录）
这种方法更直观，也便于在中间环节校验文件。
# 1. 使用源认证下载所有文件到本地 AWS_ACCESS_KEY_ID="source_key" AWS_SECRET_ACCESS_KEY="source_secret" \ s5cmd --endpoint-url="https://your-source-endpoint" cp "s3://source-bucket/*" ./temp-dir/ # 2. 使用目标认证从本地上传到目标 AWS_ACCESS_KEY_ID="target_key" AWS_SECRET_ACCESS_KEY="target_secret" \ s5cmd --endpoint-url="https://your-target-endpoint" cp "./temp-dir/*" "s3://target-bucket/" # 3. 清理临时文件 rm -rf ./temp-dir
💡 操作建议
开始大规模迁移前，建议先进行小批量测试，确认网络和权限正常。对于大文件，可以使用 --numworkers 参数（例如设为20）来减少并行任务，降低客户端负载。你还可以在命令后添加 --stats 来查看传输统计信息，或使用 tee 命令将输出同时记录到日志文件以便追踪进度和排查问题。
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/tech/aiops/318445.html