在多台服务器之间传输大文件的最佳方法是什么?

我目前正在使用scp,但似乎每天都变得越来越慢。 我最多30台服务器,我需要每天洗牌3-5千个文件,平均大小为200-400MB。

我以前也用过rsync,结果更可怜。

每个服务器应该能够将文件传输到池中的任何其他服务器(我现在每月增加大约7台服务器),所以密钥pipe理也是非常重要的。

Rsync相当快,在正常情况下它应该比scp快。

如果这还不够好,瓶颈在哪里? 所有文件的通用源设备?

没有更多的信息,我会把BitTorrent作为一个选项。 例如,Twitter使用BitTorrent: Murder构build了一个用于大规模部署代码的工具。