文件传输替代品

目前我们正在使用Aspera的企业产品。 我们获得的许可证仅包含每个连接的吞吐量10兆比特。 我们正在考虑从Aspera迁移,因为他们的许可成本是一个杀手,让我们高达100megits。 我一直在环顾四周,真的找不到任何替代品。 现在我们每天都有500GB的东西进出。 我更喜欢FOSS阵营的东西,但我并不反对购买基于Windows的东西。

为您提供一些我们的硬件configuration背景。

(2)BL495c刀片服务器 – 2个6核心Opteron,128GB内存,存储全部位于HP MSA2300 FCarrays上,共约10TB数据。 一切正在Hyper-V Server 2008r2上运行。

所有这一切都有一个真正的问题:

您使用什么软件/方法为您的客户提供高速file upload/下载?

编辑:我正在处理大多数非技术性的最终用户谁都生活在Windows世界。 所以我想用一个相当简单的用户前端浏览器的东西。 后端可以是必要的技术。 我认为唯一真正的要求是大约100Mbps的文件传输,用户配额和可能的连接限制的性能。

你考虑过其他商业加速文件传输解决scheme吗?

看一下FileCatalyst http://www.filecatalyst.com,它会以更实惠的成本为您提供相同的速度优势。

你也可以看看商业方面的Signiant。

在开源方面也有一些select。 UDT,海啸,GridFTP都是可能的select。 也看看UFTP 。 我认为这些解决scheme的问题将是您正在处理非技术性最终用户的事实。 也许有一些脚本和其中一个产品在后台运行,你可以创build一个工作的解决scheme。

在我的博客中,我汇编了所有开放源码文件传输产品的比较,并试图确定在某些情况下哪个产品效果最好(例如:高带宽,高延迟场景等)

这里是博客文章的链接: http : //www.filecatalyst.com/open-source-fast-file-transfers

约翰

注意:此用户是FileCatalyst的雇员。

我们使用SFTP / SCP或者rsync-over-SSH,但这取决于客户端有相关的客户端/服务器软件。

它的速度和链接允许的速度一样快,rsync中断的传输是可重启的,而且它是很好的脚本(假设你知道你的bash /等效的脚本和相关的工具),所以事情可以完全自动化。 您需要租用某个服务器来托pipe这些文件,而不是直接从您那里将文件传输到客户端,除非您在本地有一个100Mb的pipe道,但除非您需要大量的SLA,否则这些服务器并不昂贵(请记住使用encryption的文件系统和其他此类预防措施,如果信息是敏感的,或当然)。

这是一个DIY解决scheme,虽然。 如果你正在寻找一些与你的客户友好相处的东西(例如类似于Dropbox的东西),那么你需要添加一些关于你正在寻找的问题的细节,以便得到相关的答案。 请记住,大多数使用不会使用Aspera,所以不会熟悉它,甚至那些使用它的人也不会知道哪些function特别有用(哪些不关心你)列出它们。

编辑:

这个工具是最近在HN( 这里 ),看起来像是值得你调查,如果你有一个胖的传出连接。 显然你必须考虑事物的安全性,例如通过一些手段让你的客户彼此分离(因为它似乎是围绕同步位置之间的个人文件,而不是与客户端共享)。 警告:我还没有尝试过。

如果您的数据集接近PB大小,并且pipe道很胖但具有较高的RTT,则使用来自HPC的某些内容:GridFTP – 并行TCPstream,可以划分到多个服务器上。 可能对你的应用程序有点矫枉过正,但不会比GridFTP快。 根据您的安全策略,可能需要全面的X509 PKI。

像约翰提到的,filecatalyst是一个选项。 请纠正我,如果我错了,但从我的阅读,我相信文件catcatalyst缺乏带宽消耗的控制。 它会消耗所有可用的带宽。 然而,文件催化剂提供了将其“非高峰”安排为带宽pipe理的替代的能力。

其他解决scheme是开源的UDT或海啸,这是filecatalyst的基础。

马丁