How to check if local file is same as S3 object without downloading it with boto3?
如何在不下载的情况下检查本地文件是否与存储在S3中的文件相同?避免一次又一次地下载大文件。 S3 对象具有电子标签,但如果文件是分段上传的,并且此问题的解决方案似乎不起作用,则它们很难计算。有没有一些更简单的方法可以避免不必要的下载?
如果它们不同,我会比较最后修改时间并下载。此外,您还可以在下载前比较大小。给定一个
1
2 3 4 5 6 7 |
import boto3 import os.path def isModified(bucket, key, fname): |
你能用一个小的本地数据库吗?一个文本文件?
- 一次下载一个 S3 对象。不是它的ETag。
- 计算你想要的任何签名。
- 将(ETag,签名)对放入”数据库”。
下次,在继续下载之前,请在”数据库”中查找 ETag。如果存在,请计算现有文件的签名,并与对应于 ETag 的签名进行比较。如果它们匹配,则远程文件与您拥有的相同。
同一文件可能会以不同的分块方式重新上传,从而更改 ETag。除非这很有可能,否则您可以忽略误报并在这种极少数情况下重新下载文件。
如果您不需要即时库存,您可以生成 s3 存储库存,然后将它们导入您的数据库以备将来使用。
为普通文件和大型多部分文件计算本地文件 Etag,如下所示。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/267948.html