方案二個(gè)人感覺是一個(gè)更好的配置方案，并且其中的 wireguard 配置方式也在方案一中使用，步驟更簡(jiǎn)潔明確一些。所以推薦沒(méi)有耐心看完的同學(xué)直接看方案二。

奇怪的環(huán)境產(chǎn)生奇怪的需求——現(xiàn)在有一臺(tái)機(jī)器去程只有移動(dòng)能夠直連，電信和聯(lián)通都會(huì)繞日走 ntt(tnt)，一到了晚上就會(huì)產(chǎn)生劇烈的抖動(dòng)以及嚴(yán)重丟包，那么是是否有辦法去優(yōu)化一下呢？使用一臺(tái)移動(dòng)網(wǎng)絡(luò)的機(jī)器作為中轉(zhuǎn)是一個(gè)方法，但是這樣的話，所有的流量都會(huì)經(jīng)過(guò)這臺(tái)中轉(zhuǎn)的機(jī)器，這臺(tái)機(jī)器的速度成為了這個(gè)網(wǎng)絡(luò)中的瓶頸，而且流量也會(huì)加倍消耗。既然我們只是去程繞路，那么是否有辦法只優(yōu)化去程的路由而保留原有的回程路由呢？在實(shí)際的互聯(lián)網(wǎng)中“非對(duì)稱路由”非常常見，即A 到 B 和 B 到 A 走了不同的路徑，而我們要想實(shí)現(xiàn)這個(gè)效果則需要先建立一個(gè)虛擬的網(wǎng)絡(luò)，然后再在這個(gè)網(wǎng)絡(luò)中配置路由，我這里使用了 wireguard 作為建立虛擬內(nèi)網(wǎng)的工具。

三臺(tái)機(jī)器上的非對(duì)稱路由

環(huán)境準(zhǔn)備

在這個(gè)實(shí)驗(yàn)中使用了三臺(tái)機(jī)器 :

本地機(jī)器 A wireguard 網(wǎng)內(nèi) ip 為 192.168.51.5 169.254.1.5

去程不錯(cuò)但是帶寬較小的機(jī)器 B 192.168.51.1 169.254.1.1

去程繞路但是回程不繞且?guī)捿^大的機(jī)器 C 192.168.51.2 169.254.1.2

需要實(shí)現(xiàn)的效果是 A 訪問(wèn) C 路徑為 A->B->C->A

在安裝好 wireguard 后需要生成密鑰且開啟包轉(zhuǎn)發(fā) :

$aptinstallwireguardwireguard-tools
$wggenkey|teeprivatekey|wgpubkey>publickey

$echo"net.ipv4.ip_forward=1">>/etc/sysctl.conf
$echo"net.ipv6.conf.default.forwarding=1">>/etc/sysctl.conf
$echo"net.ipv6.conf.all.forwarding=1">>/etc/sysctl.conf
$sysctl-p

兩兩之間建立連接

下面直接貼一下三臺(tái)機(jī)器的 wireguard 配置，注意一點(diǎn) 需要設(shè)置 Table=off，即禁止 wireguard 直接修改路由表 , 且這里使用的是鏈路本地地址建立的連接。另外，三臺(tái)機(jī)器彼此之間要兩兩連接 (對(duì)應(yīng)單獨(dú)的一個(gè)配置文件), 也就是說(shuō)需要自己寫 6 個(gè)配置文件

節(jié)點(diǎn) A 與節(jié)點(diǎn) B 配置文件 :

[Interface]
PrivateKey=
ListenPort=27000
PostUp=ipaddradd169.254.1.5/32peer169.254.1.1/32dev%i
PostDown=ipaddrdel169.254.1.5/32peer169.254.1.1/32dev%i
Table=off
#B
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=
PersistentKeepalive=10

節(jié)點(diǎn) A 與節(jié)點(diǎn) C 配置文件 :

[Interface]
PrivateKey=
ListenPort=27001
PostUp=ipaddradd169.254.1.5/32peer169.254.1.2/32dev%i
PostDown=ipaddrdel169.254.1.5/32peer169.254.1.2/32dev%i
Table=off
#C
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=
PersistentKeepalive=10

節(jié)點(diǎn) B 與節(jié)點(diǎn) A 配置文件 :

[Interface]
PrivateKey=
ListenPort=27000
PostUp=ipaddradd169.254.1.1/32peer169.254.1.5/32dev%i
PostDown=ipaddrdel169.254.1.1/32peer169.254.1.5/32dev%i
Table=off
#A
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0

節(jié)點(diǎn) B 與節(jié)點(diǎn) C 配置文件 :

[Interface]
PrivateKey=
ListenPort=26002
PostUp=ipaddradd169.254.1.1/32peer169.254.1.2/32dev%i
PostDown=ipaddrdel169.254.1.1/32peer169.254.1.2/32dev%i
Table=off
#C
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=

節(jié)點(diǎn) C 與節(jié)點(diǎn) A 配置文件 :

[Interface]
PrivateKey=
ListenPort=27001
PostUp=ipaddradd169.254.1.2/32peer169.254.1.5/32dev%i
PostDown=ipaddrdel169.254.1.2/32peer169.254.1.5/32dev%i
Table=off
#A
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0

節(jié)點(diǎn) C 與節(jié)點(diǎn) B 配置文件 :

[Interface]
PrivateKey=
ListenPort=26002
PostUp=ipaddradd169.254.1.2/32peer169.254.1.1/32dev%i
PostDown=ipaddrdel169.254.1.2/32peer169.254.1.1/32dev%i
Table=off
#thk
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=

ip 分配與靜態(tài)路由

在建立了兩兩之間的連接之后，我們還需要在每臺(tái)機(jī)器上創(chuàng)建一個(gè) dummy 網(wǎng)卡 (也可以寫到 postup 里面)，用來(lái)獲取到發(fā)給自己的包。

以機(jī)器 A 為例，BC 上也要進(jìn)行同樣的操作 (記得改 ip)

#iplinkdeldummy
$iplinkadddummytypedummy
$ipaddradd192.168.50.5/32devdummy
$iplinksetdummyup

此時(shí) 192.168.50.5(A) 到 192.168.50.2(C) 是還沒(méi)有路由的，不過(guò)我們希望去程經(jīng)過(guò)節(jié)點(diǎn) B，那么我們?cè)?A 上設(shè)置靜態(tài)路由 :

$iprouteadd192.168.51.2/32dev[AB之間連接對(duì)應(yīng)的wireguard接口名]
#或者iprouteadd192.168.51.2/32via169.254.1.1

然后還需要在節(jié)點(diǎn) B 上設(shè)置到 C 的靜態(tài)路由 :

$iprouteadd192.168.51.2/32dev[BC之間連接對(duì)應(yīng)的wireguard接口]
#或者iprouteadd192.168.51.2/32via169.254.1.2

此時(shí)，在 A 上 pingC，在 B 上抓包，我們便能得到如下結(jié)果 :

PING C

在 B 上只能看見單向的數(shù)據(jù)流，而 A 是可以得到回應(yīng)的，再在 C 上抓包看看 :

C 上分別查看兩個(gè)接口 B-C 與 C-A 的接口

B-C C-A

可以發(fā)現(xiàn)一點(diǎn)，實(shí)際上 B 作為路由進(jìn)行轉(zhuǎn)發(fā)時(shí)，源 ip 是什么是無(wú)所謂的，只需要有目的 ip 即可，而目的 ip 的路由方式通過(guò)靜態(tài)路由指定了，那么在 C 上則會(huì)收到來(lái)自于 A 的鏈路本地地址 (169.254.1.5) 的包，而 C 與 A 直接連接，且 wireguard 創(chuàng)建了到 169.254.1.5 的連接，所以 C 的響應(yīng)是可以不經(jīng)過(guò) B 直接走到 A 的。這樣就實(shí)現(xiàn)了一個(gè)非對(duì)稱的路由?，F(xiàn)在的設(shè)置下，A 主動(dòng)訪問(wèn) C 時(shí)會(huì)經(jīng)過(guò) B，C 還沒(méi)辦法主動(dòng)的連接 A，因?yàn)檫€沒(méi)有設(shè)置 C 到 A 的靜態(tài)路由，我們可以重復(fù)一遍前面的步驟，在 C 上與 B 上指定到 A 的靜態(tài)路由，也可以直接讓 C 訪問(wèn) A 而不經(jīng)過(guò) A。不過(guò)由于該需求中我只需要 A 能夠主動(dòng)訪問(wèn)到 C 即可，所以不再進(jìn)行這些設(shè)置。

為什么使用了鏈路本地地址

為什么在配置文件中使用了 169 開頭的地址，而不是直接用 192 開頭的地址建立連接并參與后續(xù)的路由設(shè)置呢？因?yàn)椋ㄖ辽偈窃谖疫@種配置方式下），ip addr add xxx peer xxx 建立點(diǎn)對(duì)點(diǎn)連接時(shí)，會(huì)自動(dòng)添加一條路由規(guī)則，會(huì)和我們后續(xù)添加的手動(dòng)路由沖突。所以我只能退一步，使用另一個(gè)地址來(lái)建立點(diǎn)對(duì)點(diǎn)連接，然后用新的地址來(lái)設(shè)置靜態(tài)路由。wireguard 工作在網(wǎng)絡(luò)層，大概不支持不設(shè)置 ip 直接通過(guò) mac 來(lái)連接 ?

只用兩臺(tái)機(jī)器實(shí)現(xiàn)非對(duì)稱路由

上一節(jié)實(shí)現(xiàn)了三臺(tái)機(jī)器組建的網(wǎng)絡(luò)的非對(duì)稱路由，那么能否更進(jìn)一步，借助現(xiàn)有的“流量轉(zhuǎn)發(fā)”服務(wù)，實(shí)現(xiàn)兩臺(tái)機(jī)器建立非對(duì)稱路由呢？這樣我們便不再需要第三臺(tái)服務(wù)器轉(zhuǎn)發(fā)去程，且優(yōu)質(zhì)線路在流量轉(zhuǎn)發(fā)服務(wù)中也常見一些，且由于只有去程走了轉(zhuǎn)發(fā)，實(shí)際上是花不了多少錢的。

個(gè)人測(cè)試下來(lái)，這個(gè)方案也很容易實(shí)現(xiàn)。以本地機(jī)器 A 與遠(yuǎn)程機(jī)器 C 為例，每臺(tái)機(jī)器上都要設(shè)置兩個(gè) wireguard 接口，分別對(duì)應(yīng)通過(guò)端口轉(zhuǎn)發(fā)建立的 wireguard 以及直接連接建立的 wireguard。

命名如下 :

a1 本地對(duì)應(yīng)的通過(guò)流量轉(zhuǎn)發(fā)建立的 wireguard 連接的接口 169.254.2.1 192.168.51.3

a2 本地對(duì)應(yīng)的通過(guò)直接連接建立的 wireguard 連接的接口 169.254.2.2 192.168.51.3

c1 遠(yuǎn)程對(duì)應(yīng)的通過(guò)流量轉(zhuǎn)發(fā)建立的 wireguard 連接接口 169.254.2.3 192.168.51.2

c2 遠(yuǎn)程對(duì)應(yīng)的通過(guò)直接連接建立的 wireguard 連接接口 169.254.2.4 192.168.51.2

配置文件如下，注意這里沒(méi)有用ip addr add peer的命令，而完全采用靜態(tài)路由來(lái)實(shí)現(xiàn)，也不再需要 dummy 設(shè)備，而是直接使用了后面需要用的 ip。對(duì)，沒(méi)寫錯(cuò)，其實(shí)并沒(méi)有規(guī)定一個(gè) ip 只能分配給一個(gè)接口，只需要我們后面靜態(tài)路由別寫錯(cuò)就好，上一節(jié)采用三臺(tái)服務(wù)器的方案也可以這樣的配置形式，而不是用 dummy 接口。

a1 配置

[Interface]
PrivateKey=
Address=192.168.51.3/32
PostUp=iprouteadd192.168.51.2/32dev%i
#PostDown=
Table=off
#hkg
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=[填寫端口轉(zhuǎn)發(fā)服務(wù)的地址]:14967
PersistentKeepalive=10

a2 配置a1 和 a2 只有 endpoint ip、端口不一樣

[Interface]
PrivateKey=
Address=192.168.51.3/32
#PostUp=
#PostDown=
Table=off
#hkg
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0
Endpoint=[C的地址]:14967
PersistentKeepalive=10

c1、c2 配置，注意c1 和 c2 只有端口不一樣

[Interface]
PrivateKey=
ListenPort=27002
Address=192.168.51.2/32
PostUp=iprouteadd192.168.51.3/32dev%i#c2配置文件進(jìn)行該設(shè)置，指定直連
#PostDown=
Table=off
#local
[Peer]
PublicKey=
AllowedIPs=0.0.0.0/0

然后配置靜態(tài)路由

本地機(jī)器上，去程通過(guò) a1(經(jīng)過(guò)流量轉(zhuǎn)發(fā)) ip route add 192.168.51.2/32 dev a1

遠(yuǎn)程機(jī)器上，回程直連 ip route add 192.168.51.2/32 dev c2

之后我們嘗試在本地ping 192.168.51.2看看效果

延遲降低到了 30ms，而之前去程繞日 ntt 延遲有 70ms，并且抖動(dòng)劇烈，可以看出效果還是很明顯的。

總結(jié)

目前的方案感覺依舊不是最優(yōu)解，用鏈路本地地址建立連接再添加 dummy 設(shè)備多少有些繁瑣，計(jì)算機(jī)網(wǎng)絡(luò)上還有很多我沒(méi)搞清楚的，且這個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)較少，在較多 (>3) 路由節(jié)點(diǎn)的情況下，是否能直接這樣簡(jiǎn)單的配置還是一個(gè)問(wèn)題。不過(guò)關(guān)于這方面的資料實(shí)在是太少了，而當(dāng)前的配置方法雖然比較麻煩，但是也不是不能用，還望大家多多指教，有更好的連接方式請(qǐng)留下評(píng)論給我一點(diǎn)提示。