背景:

docker run 某个容器,忘记了-p/-P 映射端口操作时,怎么把容器端口映射到主机上呢?以下描述的是如何通过iptables指令把容器端口映射到外部宿主机端口操作,防止容器重新创建。 宿主机docker启了一个容器,在容器里面又部署了一个pod,而部署pod这个服务是后续操作的,宿主机docker启容器时没有把端口映射出来,如何通过宿主机去访问pod服务。

1、相关联的认知

  • docker run -p: 指令中的小p为具体的宿主机端口映射到容器内部开放的网络端口上。
  • docker run -P: 指令中的大P为随机选择一个宿主机端口映射到容器内部开放的网络端口上。
  • docker run -p: 可以绑定多IP和端口(跟多个-p)。
  • kubectl expose –type=nodePort: 指令将容器内部端口映射到主机上(宿主机为随机端口,范围30000-32767/在service中编辑修改为具体端口)。
  • kubectl expose –type=lb: 指令,为直接将容器服务暴露出去。
  • kubectl ingress: 它允许你基于路径或者子域名来路由流量到后端服务,7层协议http/https。
  • kubectl port-forward: 将容器端口转发至本地端口,也可以转发TCP流量。
  • kubectl kube-proxy: 只能转发HTTP流量。

2、docker与iptables关系

源地址变换规则、目标地址变换规则、自定义限制外部ip规则、docker容器间通信iptables规则、docker网络与ip-forward和具体的用iptables指令将容器内部端口映射到外部宿主机端口操作指令。

2.1、源ip地址变换规则

  • Docker安装完成后,将默认在宿主机系统上增加一些iptables规则,以用于Docker容器和容器之间以及和外界的通信,可以使用iptables-save命令查看。
  • 其中nat表中的POSTROUTING链有这么一条规则
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE

参数说明:
-s :源地址172.17.0.0/16
-o:指定数据报文流出接口为docker0
-j :动作为MASQUERADE(地址伪装)
  • 上面这条规则关系着Docker容器和外界的通信,含义是: 判断源地址为172.17.0.0/16的数据包(即Docker容器发出的数据),当不是从docker0网卡发出时做SNAT(源地址转换)。 这样一来,从Docker容器访问外网的流量,在外部看来就是从宿主机上发出的,外部感觉不到Docker容器的存在。

2.2、目标地址变换规则

  • 从Docker容器访问外网的流量,在外部看来就是从宿主机上发出的,外部感觉不到Docker容器的存在。那么,外界想到访问Docker容器的服务时,同样需要相应的iptables规则.
  • 以启动tomcat容器,将其8080端口映射到宿主机上的8080端口为例,然后通过iptables-save查看:
docker run -itd --name  tomcat -p 8080:8080 tomcat:latest
#iptables-save
*nat
-A POSTROUTING -s 172.18.0.2/32 -d 172.18.0.2/32 -p tcp -m tcp --dport 8080 -j MASQUERADE
...
*filter
-A DOCKER -d 172.18.0.2/32 ! -i docker0 -o docker0 -p tcp -m tcp --dport 8080 -j ACCEPT
  • 可以看到,在nat、filter的Docker链中分别增加了一条规则
  • 这两条规则将访问宿主机8080端口的流量转发到了172.17.0.4的8080端口上(即真正提供服务的Docker容器IP和端口)。所以外界访问Docker容器是通过iptables做DNAT(目的地址转换)实现的。

2.3、自定义限制外部ip规则

  • Docker的forward规则默认允许所有的外部IP访问容器
  • 可以通过在filter的DOCKER链上添加规则来对外部的IP访问做出限制
  • 只允许源IP192.168.0.0/16的数据包访问容器,需要添加如下规则: iptables -I DOCKER -i docker0 ! -s 192.168.0.0/16 -j DROP

2.4、docker容器间通信iptables规则

  • 不仅仅是与外界间通信,Docker容器之间互个通信也受到iptables规则限制。
  • 同一台宿主机上的Docker容器默认都连在docker0网桥上,它们属于一个子网,这是满足相互通信的第一步。
  • Docker daemon启动参数–icc(icc参数表示是否允许容器间相互通信)设置为false时会在filter的FORWARD链中增加一条ACCEPT的规则(–icc=true): -A FORWARD -i docker0 -o docker0 -j ACCEPT
  • 当Docker datemon启动参数–icc设置为false时,以上规则会被设置为DROP,Docker容器间的相互通信就被禁止,默认是ACCEPT。
  • 这种情况下,想让两个容器通信就需要在docker run时使用–link选项。

2.5、docker网络与ip-forward

  • 在Docker容器和外界通信的过程中,还涉及了数据包在多个网卡间的转发,如从docker0网卡转发到宿主机ens160网卡,这需要内核将ip-forward功能打开
  • 即将ip_forward系统参数设1:echo 1 > /proc/sys/net/ipv4/ip_forward
  • Docker daemon启动的时候默认会将其设为1(–ip-forward=true)
  • 永久生效的ip转发 vim /etc/sysctl.conf net.ipv4.ip_forward = 1 sysctl -p /etc/sysctl.conf

2.6、iptables指令映射

  • 需要执行三条指令,其中就修改两个参数:
iptables -t nat -A DOCKER -p tcp --dport ${YOURPORT} -j DNAT --to-destination ${CONTAINERIP}:${YOURPORT}

iptables -t nat -A POSTROUTING -j MASQUERADE -p tcp --source ${CONTAINERIP} --destination ${CONTAINERIP} --dport ${YOURPORT}

iptables -A DOCKER -j ACCEPT -p tcp --destination ${CONTAINERIP} --dport ${YOURPORT}
  • ${CONTAINERIP} 就是对应容器的ip地址,比如我的容器ip地址是 172.18.0.2 ,(容器的IP可以通过如下方式查看:a.在容器中:ip addr;b.在宿主机中: docker inspect 容器名 |grep IPAddress )所以我就把上述的参数换成我的IP地址。
  • ${YOURPORT} 就是要映射出来的端口,我配置的是一个console平台,其端口是30880

3、注意地方及参考