大数据迁移网络传输优化

使用RSYNC SCP之类的工具,在上100G或T数据时,效率都非常慢。。

这时我们使用BBCP工具,并发,提升非常高

下载地址,就是一个二进制文件

下载:http://www.slac.stanford.edu/~abh/bbcp/bin/

文档:http://www.slac.stanford.edu/~abh/bbcp/#_Toc392015160

下载后,需要把这个文件
chmod+x bbcp
在复制一份到目标机器上/usr/bin/

需要开5031端口,如果防火墙没打开,需要打开。。

bbcp -r -P 2 -V -w 8m -s 16 file.tgz root@139.18.19.8:/root/