Articles of 光泽

并行文件系统,它将同时的文件请求调度到相互排斥的OSS集

我的环境是基于RHEL的,互连是infiniband。 我有一些Lustre的经验。 我想知道的是: 是否有一个并行文件系统,如果同时写入请求到达,它们被安排在互斥的对象服务器上(以获得高容错性)? 如果没有,我可以调整光泽以安排在不同的目标磁盘上同时进行文件写入请求吗? 我不介意如果我必须禁用条纹。 提高容错性,同时降低性能对我来说是可以的。 有什么build议么?

什么是限制磁盘读写速度和networking的各种因素?

如何select一台服务器: 具有较高的存储I / O性能 在增加更多存储方面非常灵活 所以,基本上这些服务器应该作为光盘架构中OST的存储服务器。 所以,在了解上述过程的同时,我也想知道CPU的处理速度是否限制了磁盘的读写速度。 我猜存储控制器负责读写。 那么,这里的CPU性能是不是需要? 请改正。 我正在寻找惠普服务器。 请build议。

Lustre替代70节点科学集群

我们的实验室有一个群集 70个计算节点 4个IO节点 Infiniband QDR互连 12T磁盘arrays使用IB SRP协议访问 主要应用是debugging和运行基于MPI的并行科学程序。 客户端/计算节点将每隔几分钟同时写入几千字节的数据 (总计)。 这个文件系统曾经是Lustre ,与主stream的超级计算机中心相似。 但是安装过于复杂,可维护性太差。 那么是否有任何易于使用的“小型”分布式networking文件系统? 或者,对于这种情况NFS可以吗?

在ZFS支持的Lustre集群中,快照和克隆是文件系统范围内的吗?

我的目标是在Linux上find一个支持类似ZFS的轻量级快照和快照克隆的分布式文件系统。 这个StackOverflow的问题expression了我正在寻找的很好。 我试图弄清楚Lustre + ZFS是否是解决scheme。 如果我build立了一个ZFS支持的分布式Lustre文件系统,我能够将其快照,然后装载和克隆这些快照? 或者,ZFS快照function是否在单个OSS级别上运行,而不是在整个分布式文件系统上运行? 到目前为止,我的研究已经把我推向了Lustre + ZFS,这是一个很有希望的select,但是互联网上的共识似乎是Linux上的ZFS直到最近的0.6.1发行版都是beta。 目前的Lustre文档简要地提到ZFS作为Lustre的可选后端。 可能由于ZFS在Linux上最近的成熟,除了LLNL的Sequoia,我还没有发现任何有关Lustre + ZFS的Linux部署的报告,而且我还没有find与Sequoia有关的文档来回答我的问题。

在多个硬件RAIDarrays负载平衡 – 软RAID 0可以接受?

我们有一个中央存储服务器(PowerEdge R720)为HPC群集提供共享文件,并有两个硬件RAID控制器(PERC H810,每个驱动2个MD1200机箱,装满7200转4TB磁盘)。 与典型的HPC工作负载一样,访问模式预计将是高度并行的顺序读取/写入。 我认为将文件分条到两个arrays将会提供更好的总吞吐量,但是在硬件RAID之上的软件RAID 0的想法听起来很疯狂。 我想出了两个select: 硬件RAID 6上的软件RAID 0上的XFS上的NFS 每个硬件RAID 6的光泽 XFS优点:项目配额。 XFS缺点:XFS上的NFSperformance出非常差的元数据性能(如果吞吐量很大,会降低到几乎不可用的程度,我是否调整了错误?)。 光泽优点:显着改善元数据性能。 光泽缺点(?):我们没有专门的元数据设备,不得不对数组进行分区。 听起来不是一个推荐的做法。 我们考虑元数据性能,因为虽然顺序R / W是主要的工作量,但我们有一些程序可以处理大约40k 1GB的文件。 以交互方式pipe理这些文件确实需要可接受的元数据性能 最后一个问题,在硬件和软件上使用什么条带大小?

是什么让Lustre比NFS更快,更可扩展?

我已经在各种地方(例如这里和这里 )读到了NFS的I / O性能没有扩展的情况,而Lustre的确如此,Lustre能够提供更好的I / O速率。 两者之间似乎存在不同的架构差异,但是我无法确定Lust在速度或可伸缩性方面究竟是什么。 我想我的问题在某种程度上是概念性的,但是关于NFS或者function的关键区别是什么,使得LustS能够扩展和提供更快的I / O速率?