怎样通过网络在两台Linux之间倒数据

发表于 更新于

Why

在服务器之间倒腾数据是运维工作的常见场景，这个运维的同行们应该都心有戚戚焉吧，比如要把一台服务器上的服务迁移到另外一台服务器上、比如这个服务又新上一台服务器，需要把数据从老服务器上同步过来一份，类似的需求是不是感觉经常碰到呢？

Howto

  1. scp
  2. rsync
  3. sftp
  4. nc
  5. socat
  6. ……

以上几种方法中：

  • scp 和 sftp 其实都还是走的 ssh，走这种方式服务器有加密、解密的负载，所以比较耗 cpu 资源，为了减轻 cpu 负载，可以选用轻一点的 cipher 比如 arcfour。这种方式比较适合于一次性的拷贝不太大的单个文件。
  • rsync 可以走自有协议，也可以走 ssh 通道。不管那种，都可以用于“同步”数据的场景。
    • 如果走自有协议的话，速度很不错。只不过需要先配置服务器和客户端
    • 如果走 ssh 的话，会一样碰到加解密耗cpu的问题。
  • nc( netcat )和 socat 在这里是类似的思路，只是 socat 号称是比 nc( netcat )更瑞士军刀的瑞士军刀:)

总结一下：

  • 如果文件很多、数据量很大的场景下，我推荐用 tar+socat 的方案，代码如下：
1
2
3
4
5
6
7
8
9
10
# server A & server B上都要执行
yum -y install tar socat;
# server A(ip:1.1.1.1)上执行
cd dest_path;
socat tcp4-listen:11111 stdout | tar xvpf -
# server B上执行
cd src_path;
tar cvf - files | socat stdin tcp4:1.1.1.1:11111
# server B上的src_path/files==>server A的dest_path/files
# 在千兆环境下，拷贝速度可以稳定达到800M以上。
  • 如果是单个的大文件，直接 socat 即可，代码跟上面类似
  • 如果不追求性能和速度，scp 即可，代码略

进一步优化

1
2
3
4
5
6
# 2024.1.11 更新
# 接收端(B)：
socat TCP-LISTEN:11111 STDOUT | tar xzv
# 发送端（A）：
tar czvf - src | socat - TCP:B:11111
# 确认比 nc 更厉害，因为同样的情况，使用 nc 被挂住了（多次实验，皆被挂住）
  • 如果网络带宽不大而且没有加密需求的话，可以给 tar 启用压缩，格式用性能最好的 xz
1
2
3
4
5
6
7
8
9
# server A & server B上都要执行
yum -y install tar socat xz;
# server A(ip:1.1.1.1)上执行
cd dest_path;
socat tcp4-listen:11111 stdout | tar xJvpf -
# server B上执行
cd src_path;
tar cJvf - files | socat stdin tcp4:1.1.1.1:11111
# 在千兆环境下，拷贝速度只有10M(压缩后)左右。
  • 如果从命令行简洁程度来讲，还不如直接用 nc 呢。:)
1
2
3
4
5
6
7
8
9
# server A & server B上都执行
yum -y install nc;
# server A(ip:1.1.1.1)上执行
cd dest_path;
nc -4l 11111 | tar xv
# server B上执行
cd src_path;
tar cvf - files | nc -q 0 1.1.1.1 11111
# 上面命令里的 "-q 0" 的意思是发完数据就发一个完成标识，避免数据已然传完但 nc 进程一直挂着的现象