10G问题centos6.7 juniper ex4500

在过去的一周里,我一直在为此挠头,似乎无法find任何解决办法。 所以,这是我的问题…我有一台瞻博networkingex4500 10g交换机通过sfp + twinax电缆连接到我的服务器。

第一台服务器(filer):戴尔R620

RAM : 96GB N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) on bond0 which makes this 20Gbps OS : centos 6.7 x86_64 Storage : 24 disks connected via perc 810 on RAID 5 

第二台服务器(计算机):戴尔R810

 RAM : 256GB N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) no bond OS : centos 6.7 x86_64 Storage : single disk 512GB 6Bb/s 

第三台服务器(计算机):Dell R810

 RAM : 512GB N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) no bond OS : centos 6.7 x86_64 Storage : single disk 512GB 6Bb/s 

我有一个CentOS 6.7 ISO作为我用来testing传输速度的文件。 这就是我开始我的testing。 首先,我使用服务器2和服务器3,使用scp centos 6.7.iso root@server3:~/并且传输的速度最高可达167MB /秒。 我觉得这是因为MTU是1500,而且速度越来越低。 因此,将交换机上的MTU更改为服务器所连接端口上的9214以及服务器ifcfg-px文件并重新启动服务器。 但是现在传输速度只增加到200MB /秒。 我testing了服务器1上有一个债券和MTU设置为9000我仍然得到200MB /秒。

Iperf说10g作为带宽,但是我看不到它。 scp有这么多的开销,它已经超过了200MB / s?

无论如何,如果你们中的任何人有什么想法是什么问题请让我知道。 这是高度赞赏。

以下是我的输出iperf和scp。

 Client connecting to teng.tofu, TCP port 5001 TCP window size: 92.6 KByte (default) [ 3] local 10.10.113.15 port 58221 connected with 10.10.113.21 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec 

SCP

 100% 3926MB 186.9MB/s 00:21 

  • networking接口从2个不同的主机读取stream量
  • 我应该使用哪种openvpn密码?
  • Kickstarting VMWare ESX 4.1(错误:没有名称bootif的网卡)
  • Debian - 静态IP,/ etc / network / interfaces
  • tcpdump以太网报文长度是否包含ip报文和数据长度?
  • UDP如何跟踪连接?
  • 3 Solutions collect form web for “10G问题centos6.7 juniper ex4500”

    这个限制当然是SSH中的硬编码缓冲区和SCP客户端中额外的硬编码缓冲区。 你可以使用ewwhite提到的HPN ssh补丁来解决这个问题,但是我会首先考虑其他方法,而不是修改你的ssh守护进程。 或者,如果必须的话,build立第二个自定义的ssh守护进程。

    如果您的stream量需要encryption,有几种方法可以在主机之间build立VPN,那么您可以简单地使用传统的方法,如本地rsync(rsync主机:资源/path与rsync主机:/path)或NFS 。 如果您正在使用诸如OpenVPN,Tinc或内置的内置本地IPSEC之类的ad-hoc vpn设置,则本机rsync更易于保护。

    要查看networking不太可能是您的问题,请创build一个NFS共享或启动rsync作为后台进程,并使用本地rsync协议(不使用ssh)。 要达到10gb / s,您需要调整/etc/sysctl.conf中的缓冲区大小(默认情况下不会),可能需要通过/etc/modprobe.d/driver调整您的gig-e驱动程序的默认选项-name.conf,你需要仔细阅读。

    编辑

    如果您只是想testing10Gb卡,那么在一台机器上启动iperf3作为服务器,并在另一台机器上使用iperf3作为客户机。 如果使用centos / redhat,你应该可以在EPEL库中find它,或者你可以自己编译它。 iperf3会向您显示您的服务器可能无法计算应用程序开销的最大速度,那么将调整sysctl.conf,gig模块驱动程序选项等,以便在需要时获得更高的速度。

    不要为此使用传统的SSH / rsync。

    请尝试像hpnSSH或UDR之类的工具来运行未encryption的副本。

    另外,我不能说出你正在复制什么方向,但是你的客户端的上传速度可能不是很好。 您是否达到了存储的上限?

    (我不会评论24盘的RAID5设置)

    另请参阅: 通过高延迟链接提高大文件传输的速度

    SCP使用SFTS / SSH来encryption/parsing文件。 高速networking的开销相当高。 您可以尝试使用较弱的密码来降低encryption开销,例如arcfour。

    尝试发出以下命令: scp -o Ciphers=arcfour <local> <remote>

    编辑:如果你不关心SCP / SSH性能,那么你不应该使用SCP来testing你的局域网。 要testing纯净的networking速度,可以使用netperf或iperf。 如果您关心的是NFS,只需导出一个带有大文件(例如:ISO文件)的NFS挂载,然后在另一台机器上传输它,并检查传输所需的秒数。

    服务器问题集锦,包括 Linux(Ubuntu, Centos,Debian等)和Windows Server服务器.