推荐的videostream服务器存储系统

我正在开发一个video监控系统,可以logging和传输来自许多远程IP摄像机的许多videostream。

一台服务器将运行在一台能够处理大约500个videostream(每个videostream250kbps)的机器上。 一台服务器将是大型服务器场的一部分,由一台简单的服务器控制(这里不重要)。

现在,我是一名软件工程师,他们让我负责find正确的硬件来运行我的服务器……而且我无能为力,我需要什么!

  1. 我可以安装linux并在RAID中configuration几个快速硬盘,并且可以像一些昂贵的存储解决scheme那样具有相同的性能吗?

  2. 我需要多less个CPU,主板,其他?

  3. 什么是最好的硬盘驱动器品牌?

  4. HDD的水冷是否存在?

对不起,要求提出一些愚蠢的问题,但是我正在写软件,我使用PC ,这就是我在工作中需要知道的所有硬件细节

1.我可以安装linux并在RAID中configuration几个快速硬盘,并且可以像一些昂贵的存储解决scheme一样具有相同的性能吗?

不,我会至less去一个体面的硬件RAID控制器(Adaptec是我的赌注)。 主要原因是你的Linux安装只是因为它缺less优化的硬件。 即:你不能安全地使用回写caching,因为如果电源故障,光盘可能是疯狂的。 您可以在Adaptec 5805Z或带有BBU的5805中这样做,因为如果电源发生故障,板载高速caching是安全的(某些或更长时间 – BBU运行2天,Z型号将数据写入闪存模块)。 技术上,顺便说一下,我仍然在运行Linux(在控制器上)。

2.我需要多less个CPU,主板,其他?

漂亮无关。 除非进行压缩,否则您不受CPU限制。 任何CPU都应该足够,即使是一个ATOM。 再一次,除非你只是通过光盘传递stream,否则你不太可能遇到CPU问题。

3.什么是最好的硬盘驱动器品牌?

西部数据。 更具体的:Velociraptors,如果你需要体面的performance,体面的价格。 唯一的10k RPM驱动器比很多昂贵的SAS驱动器要less。 根据您的IO需求,您可以使用更大更慢的驱动器。 这必须经过testing,很大程度上取决于您的编码。

从SuperMicro获得一台服务器 – 2个机架单位,放置24个硬盘(2.5外形)。 有足够的空间来扩大。 我可能会从RAID 10configuration中的8张光盘开始。 多个笼子可以相互依存。 需要一个SAS RAID控制器(如上面提到的Adaptecs)。

4.硬盘有水冷吗?

是的,但对于服务器来说是完全不相干的。 这主要是为了让osmoen在整个水冷过程中使用无声电脑,并希望在没有风扇的情况下摆脱HD热量。

我收回原来的答案,因为我把125兆比特与125千兆比特混淆了。 对我感到羞耻。

但是,当然,这使得这一切更容易一点:)

所以,对于你的问题:

  1. 有点。 你可以得到相当不错的performance,这应该是足够的这种情况下。 我会build议使用尽可能多的磁盘尽可能,并可能是一个硬件RAID控制器。 这允许,除了别的优点之外,还可以容易地将损坏的磁盘热插拔,而不会有OS出现任何问题。 顺便说一句,有可热插拔驱动器托架的情况。

  2. 这主要取决于你想要做什么。 一个服务器级主板带有两个用于4核CPUS和适当的CPU的sockets应该只能用于存储。 不过,我会推荐大量的RAM,以便在任何情况下都能够在短时间内将数据写入磁盘分区。 至less考虑16或24GB。

  3. 在这种情况下,访问时间非常重要,所以您应该select服务器级别的HD至less10k RPM或更高,甚至15k。 容量取决于你想要保存数据的时间长度(总共为125 比特/秒,最终stream量为50GB /小时)。

  4. 为什么要冷却水? 我不知道有什么系统为可热插拔驱动器托架提供水冷。

你需要多久保持录音?

你将推动每秒约16MB,或每天1.25TB。

您的磁盘arrays将需要很大,不是很快。 如果你的录音软件缓冲一点,你甚至不会有很多iops。 我可以很容易地看到一个Linux软件raid像你提到的处理这个负载,特别是如果你给它一个RAM的缓冲区几GB。 这假设体面的软件。

如果你没有将video转码为不同的格式,你不需要太多的CPU,任何现代的intel / amd都可以。 你将需要千兆networking。

品牌是一个难以回答的问题,我会得到一些冗余(raid5),并从任何有信誉的品牌购买廉价的SATA磁盘。

对于散热(和可靠性),我会得到一个服务器机箱,其中包含您所需的磁盘数量。 机箱将提供所需的气stream以保持磁盘冷却。 根据目前的信息,我几乎没有要求去喝水。

我build议问这些麻省理工学院的家伙: http : //www.media.mit.edu/cogmac/projects/hsp.html

这是他们在一个房子里用11个高品质摄像机和14个麦克风录制的3年的人类语音识别项目。 房子里有一个5TB的磁盘arrays,有一个10个节点的簇。 每天累计压缩300GB。 数据通过便携式驱动器定期传输到MIT服务器场。

您的video提要的数量大约是他们的100倍,但他们仍然可以通过快速电子邮件对话获得重要的洞察力。 他们的硬件已经超过5年半了。

这是一个20分钟的特德关于这个项目的讨论: http : //www.ted.com/talks/deb_roy_the_birth_of_a_word.html (如果时间不够,请滚动到1分00秒,然后观看几分钟)。

出版物: http : //www.media.mit.edu/cogmac/publications/cogsci06.pdf