物理のトランクリンクをOpenvSwitchで受けて各Dockerコンテナに渡す
ご無沙汰しております(3年ぶり）
仕事？
もちろんしてますよ。あと山登りしてます。
それはそうと、仕事でネットワーク関連の検証をやっていて、ただのPing箱がたくさん欲しくなったとき、こんな感じの構成を作りたかった。
今までただPing返してくれれば良かったので、
この絵で言うコンテナ部分をnetns(Linux Network Namespace)でやっていた。
もちろんnetnsはネットワークの隔離であって、ファイルシステムやプロセス空間までは分けてくれない。
なので、すでにホストOS上でApacheだったりsshdだったりが動いていると、起動スクリプトをいじくったりしないといけない。
ここがコンテナになると、一度にネットワークもファイルシステムもプロセス空間も分離できる。
さらにDockerならDockerfile少し書いたり、出来合いのイメージ拾ってくるだけでサーバとかも一瞬で建てられる。
というわけでやってみよう。
Ubuntu16.04でやっていきます。
openvswitchとdockerはaptで導入済み前提でいきます。
まずはNICの確認。
今回は4portのNICがついたサーバを使います。
流石に物理NICのMACアドレスは隠させてください、許してください何でもしますから（なんでもするとは言ってない）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
|
root@Capella:~/docker# ifconfig
docker0 Link encap:Ethernet HWaddr 02:42:5a:e9:2a:0a
inet addr:172.17.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:5aff:fee9:2a0a/64 Scope:Link
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:55 errors:0 dropped:0 overruns:0 frame:0
TX packets:46 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:3668 (3.6 KB) TX bytes:5490 (5.4 KB)
enp1s0 Link encap:Ethernet HWaddr 00:3d:2c:**:**:**
inet addr:172.16.0.100 Bcast:172.16.0.255 Mask:255.255.255.0
inet6 addr: fe80::23d:2cff:fe15:2454/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:86530 errors:0 dropped:0 overruns:0 frame:0
TX packets:44187 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:111934508 (111.9 MB) TX bytes:4146802 (4.1 MB)
Interrupt:16 Memory:d0900000-d0920000
enp2s0 Link encap:Ethernet HWaddr 00:3d:2c:**:**:**
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:23146 errors:0 dropped:0 overruns:0 frame:0
TX packets:941 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1767504 (1.7 MB) TX bytes:168530 (168.5 KB)
Interrupt:17 Memory:d0800000-d0820000
enp3s0 Link encap:Ethernet HWaddr 00:3d:2c:**:**:**
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
Interrupt:18 Memory:d0700000-d0720000
enp4s0 Link encap:Ethernet HWaddr 00:3d:2c:**:**:**
inet6 addr: fe80::c9d8:61ff:aeed:9640/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1 errors:0 dropped:0 overruns:0 frame:0
TX packets:1035 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:64 (64.0 B) TX bytes:174150 (174.1 KB)
Interrupt:19 Memory:d0600000-d0620000
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:244 errors:0 dropped:0 overruns:0 frame:0
TX packets:244 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:18559 (18.5 KB) TX bytes:18559 (18.5 KB)
virbr0 Link encap:Ethernet HWaddr 00:00:00:00:00:00
inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
wlxdc85de653e48 Link encap:Ethernet HWaddr dc:85:de:**:**:**
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
|
続いてOpenvSwitchのブリッジを作成。
|
1
2
3
4
5
6
7
8
|
root@Capella:~/docker# ovs-vsctl add-br ovs-docker
root@Capella:~/docker# ovs-vsctl show
2d21e954-f52f-45fd-a4fb-86e5108b8ee4
Bridge ovs-docker
Port ovs-docker
Interface ovs-docker
type: internal
ovs_version: "2.5.2"
|
そして、物理NICの一つをOpenvSwitchにブリッジさせます。
|
1
2
3
4
5
6
7
8
9
10
|
root@Capella:~/docker# ovs-vsctl add-port ovs-docker enp2s0
root@Capella:~/docker# ovs-vsctl show
2d21e954-f52f-45fd-a4fb-86e5108b8ee4
Bridge ovs-docker
Port ovs-docker
Interface ovs-docker
type: internal
Port "enp2s0"
Interface "enp2s0"
ovs_version: "2.5.2"
|
続いてdockerのコンテナを立てます。
今回はPingくらいしかやらないので軽量なAlpine Linuxを使用します。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
root@Capella:~/docker# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
root@Capella:~/docker# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
alpine1 latest f64255f97787 4 weeks ago 4.811 MB
alpine 3.4 f64255f97787 4 weeks ago 4.811 MB
root@Capella:~/docker# docker run -itd --privileged f64255f97787
97df6099caf7302bdad351cbd5c4894c93aaf700ed516a639380d5e18d58da78
root@Capella:~/docker# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
97df6099caf7 f64255f97787 "/bin/sh" 2 seconds ago Up 1 seconds boring_blackwell
|
ネットワーク周りを確認。
デフォルトではホストOS側で見えるvethがdocker0につながっていて、docker0のセグメントから適当なアドレスがついているはずです。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
root@Capella:~/docker# docker exec 97df6099caf7 ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2%32696/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:22 errors:0 dropped:0 overruns:0 frame:0
TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2732 (2.6 KiB) TX bytes:648 (648.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1%32696/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
root@Capella:~/docker# brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02425ae92a0a no veth912d17c
|
今回はdocker0は使用しないので、vethをdocker0からひっぺがします。
|
1
2
3
4
|
root@Capella:~/docker# brctl delif docker0 veth912d17c
root@Capella:~/docker# brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02425ae92a0a no
|
そしてひっぺがしたvethを先程作ったOpenvSwitchのブリッジにくっつけます。
今回はOpenvSwitchでVLAN振り分けるので、VLAN31のタグがついたトラフィックだけを通すようにタグ指定します。
タグ付きでコンテナに渡したければ、タグ指定せずに書けばいるかも？（未検証）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
root@Capella:~/docker# ovs-vsctl add-port ovs-docker veth912d17c tag=31
root@Capella:~/docker# ovs-vsctl show
2d21e954-f52f-45fd-a4fb-86e5108b8ee4
Bridge ovs-docker
Port ovs-docker
Interface ovs-docker
type: internal
Port "enp2s0"
Interface "enp2s0"
Port "veth912d17c"
tag: 31
Interface "veth912d17c"
ovs_version: "2.5.2"
|
最後に、コンテナ内のNICのアドレスを変更して完了です。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
root@Capella:~/docker# docker exec 97df6099caf7 ifconfig eth0 192.168.31.100
root@Capella:~/docker# docker exec 97df6099caf7 ifconfig eth0
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:192.168.31.100 Bcast:192.168.31.255 Mask:255.255.255.0
inet6 addr: fe80::42:acff:fe11:2%32634/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:55 errors:0 dropped:0 overruns:0 frame:0
TX packets:11 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:8245 (8.0 KiB) TX bytes:774 (774.0 B)
root@Capella:~/docker# docker attach 97df6099caf7
/ # ping 192.168.31.1
PING 192.168.31.1 (192.168.31.1): 56 data bytes
64 bytes from 192.168.31.1: seq=0 ttl=255 time=2.279 ms
64 bytes from 192.168.31.1: seq=1 ttl=255 time=0.751 ms
64 bytes from 192.168.31.1: seq=2 ttl=255 time=1.100 ms
64 bytes from 192.168.31.1: seq=3 ttl=255 time=1.101 ms
64 bytes from 192.168.31.1: seq=4 ttl=255 time=1.013 ms
^C
--- 192.168.31.1 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 0.751/1.248/2.279 ms
|
お疲れ様でした。
非常に簡単にできて便利ですね。
最初からopenvswitchにadd-portもできると思うんですが、まだやってないです。
Qiitaでそれっぽい記事を見つけましたが、
LXCドライバを使用すると、起動時のオプションとovsにport-addするスクリプトを少し書けばいけそうです。
Dockerコンテナを直接OpenvSwitchに接続するには(lxcドライバ使用) – Qiita
こんな感じの構成を一度作ると、Ping確認のために端末たくさん用意したり、少ない端末でケーブル頻繁に繋ぎ変えたりが必要なくなります。
適当な多ポートサーバ一台(USB NICとかでも良い)とL2SWを用意して、
あとはL2SWにケーブルプスプス挿してVLAN切ってコンテナ立てていくだけでいくらでもホスト増やせるので便利です。
しかも、Dockerなので公式イメージ拾ってくるだけでサーバー用途のホストだって一瞬で立ちます。
以下、雑記です。
dockerのネットワークは、ホストOSに見えるvethとコンテナ内のeth*がip linkの関係にあり、これを介して通信をします。
ホストOS側のvethから入った通信はコンテナ内のethに飛んでいくイメージです。仮想LANケーブルと言ったほうが良いでしょうか。
どのvethとethがペアになっているのか関係を調べるのは以下の方法が便利そうです。
Relationship between interface
コンテナ内のethのiflinkと、ホストOSのvethのifindexが同一の値になっているとのことです。
|
1
2
3
4
5
|
root@Capella:~/docker# docker exec 97df6099caf7 cat /sys/class/net/eth0/iflink
31
root@Capella:~/docker# cat /sys/class/net/veth912d17c/ifindex
31
|
なので、単純にホスト側はifindexで引っ張ることができそうです。
ifindexで引っ張る場合、if_indextoname()が利用できそうです。
|
1
2
3
4
5
6
7
8
9
10
11
|
#include<stdio.h>
#include <net/if.h>
int main(void){
int ifindex = 31;
char ifname[IF_NAMESIZE];
if(if_indextoname(ifindex, ifname) != NULL){
printf("ifindex = %d , ifname = %s\n", ifindex, ifname);
}
return(0);
}
|
コンパイル&実行
|
1
2
3
|
root@Capella:~/docker# gcc -o ifindexname ifindexname.c
root@Capella:~/docker# ./ifindexname
ifindex = 31 , ifname = veth912d17c
|
できた。
この辺上手く使うと、ワンラインで試験用ホスト立てたりが簡単にできそうですね（やるとはいってない）
Comments