如何消除磁带备份和异地存储服务?

请在底部阅读更新。 谢谢! ;)

环境信息(所有Windows):

  • 2个网站
  • 30个服务器站点#1(3TB的备份数据)
  • 5个服务器站点#2(1TB的备份数据)
  • MPLS骨干网隧道连接站点#1和站点#2

当前备份过程:

在线备份(磁盘到磁盘)

站点#1有一台运行Symantec Backup Exec 12.5的服务器,带有四个1TB USB 2.0磁盘。 执行完整备份的作业每晚在站点#1中的所有服务器上运行到这些磁盘。 站点#2使用我们购买它们时已有的软件备份到中央文件服务器。 BE作业每晚将该数据提取到站点#1并将其存储在所述磁盘上。

异地备份(磁带

连接到我们的备份服务器是一个磁带机。 BE将外部磁盘备份到磁带,每周一次由我们的非现场存储公司提供。 显然我们旋转了两个磁带库,一个总是在这里,一个总是在那里。

要求:

  • 通过在每个站点执行磁盘到磁盘的操作,并将站点#1复制到站点#2,反之亦然,从而消除对磁带和非站点存储服务的需求。
  • 基于软件的解决scheme作为硬件选项太昂贵(即,SonicWall,Arkeia)。
  • 适用于Exchange,SharePoint和SQL的代理

一些想法到目前为止:

存储

DroboPro在每个站点的初始8TB存储(目前可扩展到16TB)。 我喜欢这些,因为它们是可机架式的,允许不同的驱动器,并具有iSCSI接口。 他们也相对便宜。

软件

Symantec Backup Exec 12.5已经拥有我们所需的所有代理和许可证。 我想继续使用它,除非有更好的解决scheme,价格相同,BE做的一切加上重复数据删除和复制。

服务器

由于不再需要SCSI适配器(用于磁带驱动器),我们将虚拟化我们的备份服务器,因为它是当前唯一的物理机器保存SQL框。

问题:

  • 在站点之间进行复制时,我们希望尽可能less的数据通过pipe道。 到目前为止,我在这里已经没有重复数据删除或压缩。
  • 被复制的文件是BE的磁盘到磁盘备份的虚拟磁带库。 正因为如此,每一个巨大的文件都会每周穿过网线,因为它们每天都在变化。

最后,这个问题:

是否有任何软件可以执行重复数据删除或至less压缩来处理我们的站点到站点复制? 或者,看看我们的设置,有没有其他解决scheme,我错过了可能更便宜,更快,更好?

谢谢。 对不起,这么久。

更新2:

我已经在这个问题上设置了一个奖金,以获得更多的关注。 我正在寻找能够使用尽可能less的数据(压缩,重复数据删除或其他方法)处理两个站点之间的数据复制的软件。 类似于rsync的东西可以工作,但它必须是Windows本地的,而不是一个端口,涉及到shenanigans起床和运行。 更喜欢基于graphics用户界面的产品,我不介意如果它的工作,炮轰出一些骨头。

请只回答符合上述标准。 如果你不认为存在,或者你认为我会限制自己。 如果七天之后根本没有答案,那就这样吧。 再次感谢大家。

更新2:

我非常感谢大家提出的build议。 在赏金到期之前,我无法尝试所有这些。 现在我要让这个赏金用完了,得票最多的人得到100个重点。 再次感谢!

Windows Server 2003 R2和更高版本支持DFSR,我广泛使用DFSR通过三个站点(通过T1 < – > T1 < – > T1拓扑结构达到80GB +)的相当小的pipe道同步和备份大量数据。

msdn.microsoft.com/en-us/library/bb540025(VS.85).aspx

将数据复制到多个服务器可提高数据可用性,并为远程站点的用户提供对文件的快速,可靠的访问。 DFSR使用称为远程差分压缩(RDC)的新的压缩algorithm。 RDC是一种“有线传输”协议,可用于在有限的带宽networking上高效地更新文件。 RDC检测文件中数据的插入,删除和重新排列,使DFSR能够在文件更新时只复制变化(更改)。

DFSR完全是多主机,可以根据需要进行configuration。 这将使您的数据在“备份”位置保持同步,以获得极less量的带宽和CPU。 从这里,您可以使用卷影复制服务。

technet.microsoft.com/en-us/library/cc785914.aspx

卷影复制服务可以通过与业务应用程序,文件系统服务,备份应用程序,快速恢复解决scheme和存储硬件相协调来生成一致的卷影副本。 Windows Server 2003操作系统中的一些function使用卷影复制服务,包括共享文件夹和备份的卷影副本。

影子副本驻留在磁盘上,除了从快照到快照的更改文件之外,还不占用任何空间。 这是一个可以在没有不良影响的情况下在活动数据集上运行的进程,除了在创build快照时略微增加磁盘I / O之外。

我用了这个解决scheme很长一段时间,取得了巨大的成功 即使在非常大的文件中只有几个字节发生变化的情况下,也可以在几秒钟内(甚至在低带宽链接上)将文件更改写入其他站点。 快照可以独立于在任何时间点拍摄的任何其他快照进行访问,在紧急情况下提供两种备份,而且非常less的开销。 除了在工作日开始前一次,在午餐时间以及在一天之后结束之后,我每隔5小时设置一次快照。

有了这个,你可以在两个地方并行存储所有的数据,保持相对最新和“备份”(这相当于版本,真的),只要你想要的。

Shadow Copy客户端也可以安装在客户端计算机上,以便他们访问版本化文件。

http://www.microsoft.com/downloads/details.aspx?FamilyId=E382358F-33C3-4DE7-ACD8-A33AC92D295E&displaylang=en

如果用户不小心删除了一个文件,他们可以右键单击该文件夹,属性,卷影副本,select最新的快照,并将其从快照中复制到活动副本中,就在其所属的位置。

MSSQL备份可以写出到一个特定的文件夹(或networking共享),然后自动在站点之间同步,并根据您定义的时间表进行版本控制。

我发现这些数据冗余和版本控制可以作为一个很棒的备份系统。 它还使您可以select在不影响工作stream程的情况下复制特定的快照,因为它读取的文件未被使用。

这应该与您的设置一起工作,因为第二个备份站点可以configuration为只读同步/镜像。

Windows并不是我的专业领域,但rsync可以帮助从一个站点备份到另一个站点。 Rsync通过将文件分解成更小的块来工作,然后只传输在networking上改变的块。 它也可以在数据发送时对其进行压缩。

有一些Windows版本,但我从来没有使用过,所以我不能评论他们的工作。 用cygwin你可以在Windows上获得rsync,但这可能会使事情有点混乱。 但理想情况下,您应该find一个rsync客户端的Windows,这将允许您使用计划的任务自动执行。

编辑:

我们正在使用Software Pursuits(请参阅http://www.softwarepursuits.com/SureSync/SureSync.asp )中的“SureSync”在客户远程站点的生产服务器和备用服务器之间复制数据,并取得了巨大成功。 它是一个本地Windows应用程序,在发布者和订阅者机器上作为服务运行,复制增量,保留安全性,遵循NTFS更改日志,并且总体上满足我们的需求。

(我们这个客户正在做这个,还有传统的非现场磁带备份轮换,我认为你仍然需要离线备份,我不能很好地回答你的问题,可以告诉你,SureSync一直很棒,请阅读产品的一些更新日志 – 我很清楚,制造商是真的,真的很注重细节。


一个观察:如果你消除磁带,你正在消除离线存储。 场外是一回事,但离线是另一回事。 当远程攻击者破坏你的生产系统时,磁带和磁带驱动器之间的空隙真的是非常好的,以防止他们也能够摧毁备份。

您需要异地存储备份,而且您也需要脱机备份。

如果没有像磁带这样的独立的第三方进行testing恢复和数据validation,也是非常困难的。 也许在你们这个行业,这不是一个问题,但是我曾经为金融机构工作过,他们通过磁带将数据发送到第三方,从“可恢复性”的angular度独立地validation数据的完整性,从一个“让我们看看你的总数是否与我们仅使用你的数据作为input在应用程序的受信任安装上计算的总数进行比较”。

如果要提高网站到站点复制的速度,可以查看WAN加速器。 有几个在市场上。 另一位pipe理员刚刚向我推荐了Riverbed的: http ://www.riverbed.com/index.php?cnt = 1

基本上它们在发送之前压缩数据并在收到之后解压缩数据。 这对用户来说是无缝的。

BackupExec并没有这么简单。 理想情况下,您应该可以select将备份“复制”到某个地方,而我不确定是否有这个备份

如果我在这个环境中使用HP Data Protector,那么这就是我所要做的。 它确实有一个“复制”的工作。 它也有一个重复数据删除的选项,但是在文件系统上我会非常小心的,它上面有大于500K的文件。

  • 两个位置的磁盘arrays您将需要它进行DR复制
  • 继续在两个位置进行备份
  • 星期一使用复制作业将周末作业复制到远程站点每周一次,将完整备份从磁带复制到远程数据中心的磁盘arrays。 DP数据库将跟踪两个备份作业。
  • 正确设置B2D作业的到期时间确定远程位置需要的远程副本数量,并在复制作业上正确设置数据保留期限。 这可以是一个单独的间隔比您的磁带旋转保留。

我相信你可以设置磁盘备份来使用压缩,但这会真的减慢你的备份速度,因为这将在软件中完成。

DataProtector重复数据删除仅适用于Windows和Linux上的文件服务器。 它不会消除Exchange / MS-SQL / Sharepoint。

IBM收购了一家名为“Softek”的公司,该公司拥有名为Replicator的软件解决scheme。 它是通过TCP / IP运行的块级复制。 初始同步完成后,只有更改的块被复制到远程站点。 所以只是因为你的一个巨大的BE文件有所改变,不需要复制整个文件。 这是一个本地的Windows应用程序,有一个易于使用的控制台,是一个非常好的方式来pipe理networking上的磁盘同步。

IBM / Softek Replicator

大约一年前,我遇到了类似的问题,从robocopy和rsync到思科WAAS和WAN加速器, 最后,我偶然发现了一个愚蠢的廉价解决scheme,可以安全快速地在站点之间同步文件。 Delta同步是关键。 大多数(如果不是全部的话)P2P客户端只进行全文件同步。

PowerFolder的
它具有仅限LAN的模式,允许您指定允许客户端连接的IP组。 它也有一个很好的混合传输模式。

有一点挖掘,让事情正是我想要的。 Powerfolder家伙绝对不是UI开发人员,但支持是非常有用的,他们的wiki文档是伟大的,即使在维基上的searchfunction不是。 🙂

我们还没有进入Exchange,SQL和Sharepoint的内联解决scheme,但是将数据库的备份保存到磁盘并让Powerfolder同步它们对我们来说已经足够和平了。

这个解决scheme运行良好,公司喜欢它,因为它的成本不到100美元(不包括研究和设置的工时)。

令人惊讶的是,Powerfolder并不是很有名。

PS – 遗憾的是缺乏链接(仅局域网模式,传输模式等)。 “新用户只能发布最多一个超链接”

尽pipe我讨厌这么说,但执行多站点备份的最简单,最快速的方法是使用一个好的存储arrays。 Dell / EqualLogic和HP / LeftHand都在其SAN产品中内置了软件,可以在多个SAN之间进行持续的增量备份。 它们设置起来既快速又容易,但可能不是最便宜的解决scheme。

给这个正在运行的线程添加一个新选项。

我们开始使用的软件是由AppAssure制作的,(现在被Dell收购)产品名称被称为Replay。

它是专为Windows服务器进行磁盘到磁盘备份而devise的,有一个复制选项,允许您自动将快照复制到远程站点。

它包括自动重复数据删除和自动版本汇总,并且复制效率非常高,即使备份快照每天15分钟或每小时发生一次,也可以安排在非工作时间进行。

只有通过广域网发送的更改没有完整的数据副本,并且如果您需要执行全新的数据副本,则可以将初始备份卸载到外部磁盘,然后将其发送到远程站点以导入到使您无需通过WAN发送完整备份以进行初始同步。

对于备份磁盘,完美的伴侣是Drobo B800i Iscsi san系统。 这是相对便宜的,需要商品现成的SATA驱动器,并具有合理的性能进行备份(但不足以做任何太重的VMWare ESX主机或SQL数据托pipe)有一个原因,Drobo不公布性能数据B800i,与Equalogic PS San或者像EMC或HP这样的大型SAN厂商的产品相比,它的价格相当低。 但作为磁盘到磁盘系统的存储是非常好的。

有一件事要考虑。 你要在磁盘上保留快照/备份多久? 磁带通常用于长期存档。 如果我需要恢复一年前删除的电子邮件,我会去磁带。 除非你要保持你的磁盘很长时间而不删除,否则你将消除大部分恢复数据的能力。

为了提高速度,易用性和价格,您应该仔细查看ExaGrid等目标重复数据删除设备。 启动并运行非常快,并复制到灾难恢复站点。 完全消除磁带。 http://www.exagrid.com

我们有两台服务器A和B.

服务器A为SQL Server(主)IIS 6.0networking负载平衡(NLB)运行复制文件服务的主节点

服务器B SQL Server IIS 6.0 NLB的次要(服务器A的故障转移)节点复制文件服务

如果A下降,那么所有的数据都在B上,反之亦然。 这些文件通过副本代理进行复制,副本代理负责pipe理我们的网站,并且每当文件在任一服务器中更新时都会更新这些文件。 数据镜像到故障转移机器,所以如果A发生故障,B将自动承担主DB的angular色。 使用NLB,最终用户不需要知道他们正在打哪个服务器,这样既可以减less停机时间,又可以减less大量configuration问题。

除此之外,我们还会定期备份数据库,并将文件备份到异地。 如果你的数据调节很多,那么你可能不得不考虑一些硬件介质来进行备份,但是如果每天的变化都很小,那么在这种情况下你可以考虑一个在线备份服务。

您的数据就是您的声誉和您的业务无论您做什么,都要花钱确保您的数据安全,因为在您全部丢失或损坏的当天,强大的备份解决scheme的成本现在看起来就像是便士。

我试图在这个环境中做的第一件事是消除小型站点上的服务器。 这样做的可行性取决于许多因素,例如用户数量,带宽的可用性,将通过链路的数据types等等。 我假设有5台服务器,我们只谈的是相对较less的用户数量,因此调查Riverbed或同等解决scheme(可能使用硬件打印服务器设备进行备份,并使用路由器来处理DHCP和本地DNScaching)可能会更经济维护服务器/等的可行性将大大简化您的设置,并且总体上会导致pipe理开销的降低,更好的服务水平等等。

你应该看看robocopy ,或者,如果你需要一个gui, richcopy 。 这两种工具都是multithreading的,快速,高效,并有许多合并和同步的选项。 您可以配合使用osql备份数据库命令(用于数据库备份)和exmerge(用于砖级交换备份),并可以创build一个简单的计划任务来自动化。

这似乎有点疯狂,但我已经诉诸于使用版本控制系统推送备份文件到一个单一的存储库,我备份宗教。 这是一个辐条和枢纽模型(不像git分布),我发现了很多客户。 真正好的事情就是使用几乎无处不在的客户端来进行版本控制系统的审计跟踪和容易的备份。 重复数据删除是版本控制系统的主要目标,当相同数据到达不止一次时,其中一些进行各种检查和浅拷贝。

我个人会使用Unison来同步网站。 它在Windows上得到了很好的支持,它只同步像rsync这样已更改的数据块,它具有易于使用的GUI,并且可以免费作为语音和啤酒。 我设置了16TB备份,它只是正常工作。

然后,您可以简单地将您的VTL备份从每个站点复制到另一个站点,就是这样。

如果您还没有查看,请检出数据保护pipe理器(DPM)。

http://www.microsoft.com/systemcenter/dataprotectionmanager/en/us/default.aspx

我正在设置这个内部使用的过程。 我还不知道所有的input/输出。 直到最近,我才知道微软提供了这样的产品。

我知道这将做delta差异,但不确定您的复制需求。

查看EVault Express恢复设备

http://www.i365.com/disaster-recovery/index.html

这是一个基于磁盘的系统,可以作为服务外部使用,也可以使用自己的evault系统。 在带宽和快速备份/恢复方面很容易。

我已经使用了一些stream行的备份解决scheme,这是迄今为止最容易学习/使用的解决scheme。 服务也好10倍。