博主自主知识产权《springboot深入浅出系列课程》(16章97节文档) 已经上线,请关注

基于etcd服务发现的overlay跨多宿主机容器网络

docker 字母哥 0评论

向您推荐

Dcoker入门与实践系列文章

欢迎加入QQ技术交流群:300139299

基于etcd服务发现的overlay跨多宿主机容器网络

环境限制

  • 必须安装key-value存储服务用于服务发现,如etcd
  • 宿主机已经安装docker engine
  • 宿主机的hostname必须不同
  • 内核大于3.16
  • 各宿主机的时间需要同步

最简单的时间同步方式,在各个宿主机上执行sudo ntpdate cn.pool.ntp.org 这通常是临时方案.终极方案是搭建时间同步的ntp服务.

环境准备及角色分配

  • 三台ubuntu14.04的server
    由于etcd采用Raft算法, 因此在做决策时需要多数节点的投票, 所以一般部署为奇数节点: 3, 5, 7

    主机名 ip 内核 启动docker容器名称 docker engine版本
    DC-server1 192.168.1.158 4.2.0-27-generic server1(centOS7) 1.10.3
    DC-server2 192.168.1.60 4.2.0-27-generic server2(centOS7) 1.10.3
    DC-server3 192.168.1.24 4.2.0-27-generic 1.10.3
  • 实验目标:两个CentOS7容器server1,server2网络互通

下载分布式发现服务协调软件:etcd

下载cetcd软件并解压,实际就是将其二进制文件放到$PATH下面即可


aixin@DC-server1$ curl -L https://github.com/coreos/etcd/releases/download/v2.2.1/etcd-v2.2.1-linux-amd64.tar.gz -o etcd-v2.2.1-linux-amd64.tar.gz aixin@DC-server1$ tar xzvf etcd-v2.2.1-linux-amd64.tar.gz aixin@DC-server1$ sudo mv etcd etcdctl /bin

将以上的命令在三台机器上都执行一遍,或者使用scp将以上文件分发到另外两个主机

文件解压之后有如下几个文件:

Documentation  etcd  etcdctl
  • Documents是文档
  • etcd是服务的主执行文件
  • etcdctl是用户客户端命令

启动etcd服务


aixin@DC-server1$ etcd -name node1 \ -initial-advertise-peer-urls http://192.168.1.158:2380 \ -listen-peer-urls http://192.168.1.158:2380 \ -listen-client-urls http://192.168.1.158:2379,http://127.0.0.1:2379 \ -advertise-client-urls http://192.168.1.158:2379 \ -initial-cluster-token etcd-cluster \ -initial-cluster node1=http://${CLUSTER_IPS[0]}:2380,node2=http://${CLUSTER_IPS[1]}:2380,node3=http://${CLUSTER_IPS[2]}:2380 \ -initial-cluster-state new \ -data-dir $ETCD_DATADIR & aixin@DC-server2$ etcd -name node2 \ -initial-advertise-peer-urls http://192.168.1.60:2380 \ -listen-peer-urls http://192.168.1.60:2380 \ -listen-client-urls http://192.168.1.60:2379,http://127.0.0.1:2379 \ -advertise-client-urls http://192.168.1.60:2379 \ -initial-cluster-token etcd-cluster \ -initial-cluster node1=http://${CLUSTER_IPS[0]}:2380,node2=http://${CLUSTER_IPS[1]}:2380,node3=http://${CLUSTER_IPS[2]}:2380 \ -initial-cluster-state new \ -data-dir $ETCD_DATADIR & aixin@DC-server3$ etcd -name node3 \ -initial-advertise-peer-urls http://192.168.1.24:2380 \ -listen-peer-urls http://192.168.1.24:2380 \ -listen-client-urls http://192.168.1.24:2379,http://127.0.0.1:2379 \ -advertise-client-urls http://192.168.1.24:2379 \ -initial-cluster-token etcd-cluster \ -initial-cluster node1=http://${CLUSTER_IPS[0]}:2380,node2=http://${CLUSTER_IPS[1]}:2380,node3=http://${CLUSTER_IPS[2]}:2380 \ -initial-cluster-state new \ -data-dir $ETCD_DATADIR &

在三台机器上分别启动etcd服务.CLUSTER_IPS=(192.168.1.158 192.168.1.60 192.168.1.24)这是一个ip数组.

配置解析

  • listen-peer-urls
    用于节点与节点之间数据交换, 因此需要监听在其他节点可以访问的IP地址上
    默认端口为: 2380 & 7001 (7001不推荐使用, 已基本废弃, 主要用于兼容老服务)
  • listen-client-urls
    用户客户机访问etcd数据, 一般监听在本地, 如果需要集中管理, 可以监听在管理服务器可以访问的IP地址上
    默认端口为: 2379 & 4001 (4001不推荐使用, 已基本废弃, 主要用于兼容老服务)
  • initial-advertise-peer-urls
    该参数表示节点监听其他节点同步信号的地址
    默认端口为: 2380 & 7001 (7001不推荐使用, 已基本废弃, 主要用于兼容老服务)
  • advertise-client-urls
    在加入proxy节点后, 会使用该广播地址, 因此需要监听在一个proxy节点可以访问的IP地址上
    默认端口为: 2379 & 4001 (7001不推荐使用, 已基本废弃, 主要用于兼容老服务)

检查集群的启动是否正确

aixin@DC-server2$ etcdctl cluster-health
member 5a2567911e869c1 is healthy: got healthy result from http://192.168.1.158:2379
member 5a125ed3c29f1acb is healthy: got healthy result from http://192.168.1.24:2379
member 70622961dfd72d05 is healthy: got healthy result from http://192.168.1.60:2379
cluster is healthy

配置Docker并重启

  • 在每一台docker宿主机上做如下配置,并重启docker
sudo vi /etc/default/docker

DOCKER_OPTS="-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store etcd://<三个IP任选其一>:2379 --cluster-advertise eth0:2375"

sudo service docker restart

  • 集群配置

--cluster-store= 参数指向docker daemon所使用key value service的地址(本例中即etcd的服务地址)
--cluster-advertise= 参数决定了所使用网卡以及docker daemon端口信息

  • 宿主机配置

上面的-H 的参数分别指定了docker demon服务的地址和协议

自动启动shell脚本(优化启动过程)


#!/bin/bash source ~/workspace/conf/project.cfg source ./etcd.conf if [ $# != 1 ] ; then echo "USAGE: $0 <SUDO_PASSWD>" echo " e.g.: $0 aixin" exit 1; fi SUDO_PASSWD=$1 NODE_IP=$(hostname --all-ip-addresses | awk '{print $1}') ETCD_NODENAME="" for ((i=1; i<=${#CLUSTER_IPS[*]}; i++)) do if [ $1 == ${CLUSTER_IPS[i-1]} ];then ETCD_NODENAME="node"${i} fi done if [ -z $ETCD_NODENAME ];then echo "you must enter an ip in CLUSTER_IPS list. conf file is etcd.conf" exit 0; fi ETCD_DATADIR=${DATA_DIR}/etcd/${ETCD_NODENAME} if [ ! -d $ETCD_DATADIR ];then echo ${SUDO_PASSWD}|sudo -S mkdir -p $ETCD_DATADIR fi echo ${SUDO_PASSWD}|sudo -S ./etcd/etcd -name ${ETCD_NODENAME} \ -initial-advertise-peer-urls http://${NODE_IP}:2380 \ -listen-peer-urls http://${NODE_IP}:2380 \ -listen-client-urls http://${NODE_IP}:2379,http://127.0.0.1:2379 \ -advertise-client-urls http://${NODE_IP}:2379 \ -initial-cluster-token etcd-cluster \ -initial-cluster node1=http://${CLUSTER_IPS[0]}:2380,node2=http://${CLUSTER_IPS[1]}:2380,node3=http://${CLUSTER_IPS[2]}:2380 \ -initial-cluster-state new \ -data-dir $ETCD_DATADIR &

创建overlay网络,并进行容器联通测试

参考

http://my.oschina.net/funwun/blog/689861

http://chunqi.li/2015/11/09/docker-multi-host-networking/

向您推荐

Dcoker入门与实践系列文章

欢迎加入QQ技术交流群:300139299

喜欢 (4)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址