我的项目使用几台处理机器和一台存储机器。 当前存储与MSSQL filetable共享文件夹组织在一起。 存储中的每个文件都有一些数据库元数据。
处理机器执行他们需要来自存储器的文件及其元数据的任务。 处理机完成任务后，将结果数据存回存储器。 从那里它被另外一台加工机器拿走了，这个加工机器也生成了一些文件并将其存回。 等等。
一切都很好，但随着处理机数量的增加，我发现自己瓶颈与存储硬盘的性能。
所以我想要处理机器把文件放到分布式FS中。 从存储设备中提取负载，从中可以从中获取数据，而不仅仅是存储设备。
你能提出一个满足我需求的特定分布式FS吗？ 或者还有另一种方法来解决这个问题，没有它？
在一次FS中的数据量是几个兆兆字节。 （存储可以处理这个，但处理器不能）。 数据一致性至关重要。 读写策略是：一旦写入文件 – 它的常量，可能只能被删除，但不能修改。
我目前的平台是Windows，但如果在另一个方面有一个更方便的解决scheme，我已经准备好切换它。