Dig a IPSec's tunnel between 2 Linux box with one is NATed and has multinets

发表于 更新于

Intro

缘起

我司有个域名，被伟大的墙双向认证了，站点如果部署在墙内，墙外过来的访问会被 reset；站点如果部署在墙外，墙内的访问也会被 reset。我司用户主要在墙内，所以，站点自然部署在墙内，但为了让墙外用户也能访问，于是在墙外购置一 VPS，配置 nginx，proxy_pass 到墙内我们真正的服务器上。

这里有个技术问题：我们的真实服务器都是内网地址，不能通过外网直接访问，所以，需要在墙外的 VPS 上到墙内真实服务器所在网段打一个 net to net 的 tunnel（其实 host to net 的也行，这是主要是考虑到也许以后墙外节点的扩展性问题），而且这个 tunnel 还需要加密，否则过墙的时候肯定会被感知而 reset 掉链接的。于是，我们这里采用的是 IPSec 加密。

环境

网络拓扑图如下：

  • Server A 直接有公网地址 1.2.3.4，带的私网地址段是 10.0.0.1/24
  • Server B 只有私网地址 10.0.1.2，通过设备 FW 给 map 了一个公网地址 2.3.4.5
  • Server C 的缺省网关是设备 R_B&C(10.0.12.253)
  • Server B 的缺省网关也是设备 R_B&C(10.0.1.253)
  • 路由器 R_B&C 上的路由表里 10.0.0.0/24 的路由指向了 10.0.1.2

Howto

安装软件

在 Server A 和 Server B 上分别执行：

1
yum -y install libreswan;

配置

Server A

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
cat <<EOF >/etc/ipsec.d/B.conf
config setup
	protostack=netkey

conn A2B
	left=1.2.3.4
	leftsubnet=10.0.0.0/24
	leftsourceip=10.0.0.1
	right=2.3.4.5
	rightsubnets={10.0.1.0/24 10.0.12.0/24}
	rightsourceip=10.0.1.2
	authby=secret
	auto=start
EOF

cat <<EOF >/etc/ipsec.d/B.secrets
1.2.3.4 2.3.4.5 : PSK "3.5.7.9"
EOF

# for iptables, eth0 is the public network interface of Server A
if /etc/init.d/iptables status>/dev/null; then
	iptables -A INPUT -i eth0 -p esp -j ACCEPT;
	iptables -A INPUT -i eth0 -p udp \
		-m udp --sport 500 --dport 500 -j ACCEPT;
	iptables -A INPUT -i eth0 -p udp \
		-m state --state NEW -m udp -m multiport \
		--dports 50,51,500,4500 -j ACCEPT;
	iptables -A INPUT -i eth0 -p tcp \
		-m state --state NEW -m tcp -m multiport \
		--dports 50,51 -j ACCEPT;
	iptables -t nat -I POSTROUTING \
		-s 10.0.0.0/24 -d 10.0.1.0/24 \
		-o eth0 -j RETURN;
	iptables -t nat -I POSTROUTING \
		-s 10.0.0.0/24 -d 10.0.12.0/24 \
		-o eth0 -j RETURN;
fi

/etc/init.d/ipsec start;
chkconfig ipsec on;
ipsec auto --add A2B;
ipsec auto --up A2B;

Server B

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
cat <<EOF >/etc/ipsec.d/A.conf
config setup
	protostack=netkey

conn B2A
	left=%defaultroute
	leftid=2.3.4.5
	leftsubnets={ 10.0.1.0/24 10.0.12.0/24 }
	leftsourceip=10.0.1.2
	right=1.2.3.4
	rightsubnet=10.0.0.0/24
	rightsourceip=10.0.0.1
	authby=secret
	auto=start
EOF

cat <<EOF >/etc/ipsec.d/A.secrets
2.3.4.5 1.2.3.4 : PSK "3.5.7.9"
EOF

/etc/init.d/ipsec start;
chkconfig ipsec on;
ipsec auto --add B2A;
ipsec auto --up B2A;

重要点

要注意的点在于 Server A 上的 Iptables 配置，这个在当 IPSec server 有自己的公网地址而且还对内提供 SNAT 服务时会保证配置正确。