S3上传延迟

我有两台服务器使用位于AWS S3存储中的相同数据。 一个是处理HTTPstream量,另一个是长时间的工作。 它的工作原理是HTTP将数据保存到S3,将事件分派到后端,并处理数据。

但是,似乎每隔几分钟后端就会出现一个错误,因为S3上的数据还不存在。 将file upload到S3并将其提供给其他客户端连接之间是否存在延迟?

我确定在后台访问这些文件的时候,上传已经完成,并且HTTP服务器使用保持连接到S3。

由于S3上传数据后如何分配数据,以及如何对其前端请求进行负载平衡,可以想象,某个对象可能需要几秒钟才能完全在其基础架构上进行传播。 我build议在你的逻辑(在上传和检索之间)延迟几秒钟,或者可能只是检测到一个故障,然后等待几秒钟,然后重试。

虽然第一个build议暂停超时的答案可能会起作用,但我可以build议查看S3通知事件。 如果您计划扩展到两台以上的服务器,那么使用SNS或SQS来pipe理一个对象成功写入后会发生什么事情,比起依靠超时时间来做事情要容易得多。

你可以在这里阅读这个function: http : //docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html