当前位置： 首页 > 编程日记 > 正文

【Kubernetes】两篇文章 搞懂 K8s 的 fannel 网络原理

编程日记 2024-10-12 22:10:00

近期公司的flannel网络很不稳定，花时间研究了下并且保证云端自动部署的网络能够正常work。

1.网络拓扑

拓扑如下：（点开看大图） 输入图片说明

  1. 容器网卡通过docker0桥接到flannel0网卡，而每个host对应的flannel0网段为 10.1.x.[1-255]/24，而flannel所组成的一个跨host的网段为10.1.x.x/16，而flannel0则为flanneld进程虚拟出来的网卡。
  2. docker0的地址是由 /run/flannel/subnet.env 的 FLANNEL_SUBNET 参数决定的。

2.HostA的Container1和HostB的Container2如何通信

host A的container1请求host B的container2的的数据时，流程如下：

  1. 根据host A的路由规则 "10.1.15.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0“ 数据交给docker0处理。
  2. docker0会收到数据，然后根据路由规则 ”10.1.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0" 数据被交由给flannel0网卡处理。 flanneld会把数据封包然后送给eth0，用udp协议发送到对方host的eth0网卡。
  3. host B的 eth0网卡收到后，根据路由规则 10.1.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0" 则交给flannel0网卡处理。
  4. flanneld会把数据解包，根据路由规则 “10.1.20.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0" 交给docker0处理。
  5. 则host B的container 2 将会收到数据。
    至此网路通信解释完毕。

3.自动部署程序中添加物理机需要注意的地方

基于上，故而：

    1. 网卡docker0、flannel0网卡的正确建立。
    2. 路由被正确配置！10.1.x.[1-255]/24 和 10.1.x.x/16 两个网段的正确路由配置。
    3. 我们的网络环境检查都基于此。通常情况下，以上两者可以自动正确建立成功，但有时候会出现异常。
    4. 添加物理机时候检查网络环境 ifconfig docker0 和 flannel0并且需要正确配置路由规则。
    5. flanneld的udp端口2375需要添加到iptables例外。

一篇文章带你了解Flannel

jopen 2015-08-27 10:36:13 • 发布

摘要：Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。

Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。 

第一部分：Flannel介绍

Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。 

在Kubernetes的网络模型中，假设了每个物理节点应该具备一段“属于同一个内网IP段内”的“专用的子网IP”。例如： 
节点A：10.0.1.0/24
节点B：10.0.2.0/24
节点C：10.0.3.0/24

但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。 

Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。 

第二部分：Flannel的工作原理

Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。 

默认的节点间数据通信方式是UDP转发，在Flannel的GitHub页面有如下的一张原理图： 
一篇文章带你了解Flannel

这张图的信息量很全，下面简单的解读一下。 

数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。 

Flannel通过Etcd服务维护了一张节点间的路由表，在稍后的配置部分我们会介绍其中的内容。 

源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直 接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一下的有docker0路由到达目标容 器。 

这样整个数据包的传递就完成了，这里需要解释三个问题。 

第一个问题，UDP封装是怎么一回事？ 

我们来看下面这个图，这是在其中一个通信节点上抓取到的ping命令通信数据包。可以看到在UDP的数据内容部分其实是另一个ICMP（也就是ping命令）的数据包。 
一篇文章带你了解Flannel

原始数据是在起始节点的Flannel服务上进行UDP封装的，投递到目的节点后就被另一端的Flannel服务还原成了原始的数据包，两边的Docker服务都感觉不到这个过程的存在。 

第二个问题，为什么每个节点上的Docker会使用不同的IP地址段？ 

这个事情看起来很诡异，但真相十分简单。其实只是单纯的因为Flannel通过Etcd分配了每个节点可用的IP地址段后，偷偷的修改了Docker的启动参数，见下图。 
一篇文章带你了解Flannel

这个是在运行了Flannel服务的节点上查看到的Docker服务进程运行参数。 

注意其中的“--bip=172.17.18.1/24”这个参数，它限制了所在节点容器获得的IP范围。 

这个IP范围是由Flannel自动分配的，由Flannel通过保存在Etcd服务中的记录确保它们不会重复。 

第三个问题，为什么在发送节点上的数据会从docker0路由到flannel0虚拟网卡，在目的节点会从flannel0路由到docker0虚拟网卡？ 

我们来看一眼安装了Flannel的节点上的路由表。下面是数据发送节点的路由表： 
一篇文章带你了解Flannel

这个是数据接收节点的路由表： 
一篇文章带你了解Flannel

例如现在有一个数据包要从IP为172.17.18.2的容器发到IP为172.17.46.2的容器。根据数据发送节点的路由表，它只与 172.17.0.0/16匹配这条记录匹配，因此数据从docker0出来以后就被投递到了flannel0。同理在目标节点，由于投递的地址是一个容 器，因此目的地址一定会落在docker0对于的172.17.46.0/24这个记录上，自然的被投递到了docker0网卡。 

第三部分：Flannel的安装和配置

Flannel是Golang编写的程序，因此的安装十分简单。 

从 https://github.com/coreos/flannel/releases和 https://github.com/coreos/etcd/releases分别下载Flannel和Etcd的最新版本二进制包。 

解压后将Flannel的二进制文件“flanneld”和脚本文件“mk-docker-opts.sh”、以及Etcd的二进制文件“etcd”和“etcdctl”放到系统的PATH目录下面安装就算完成了。 

配置部分要复杂一些。 

首先启动Etcd，参考 https://github.com/coreos/etcd ... overy。 

访问这个地址： https://discovery.etcd.io/new?size=3 获得一个“Discovery地址” 

在每个节点上运行以下启动命令： 
1etcd -initial-advertise-peer-urls http://<当前节点IP>:2380 -listen-peer-urls http://<当前节点IP>:2380 -listen-client-urls http://<当前节点IP>:2379,http://<当前节点IP>:2379 -advertise-client-urls http://<当前节点IP>:2379  -discovery <刚刚获得的Discovery地址> &

启动完Etcd以后，就可以配置Flannel了。 

Flannel的配置信息全部在Etcd里面记录，往Etcd里面写入下面这个最简单的配置，只指定Flannel能用来分配给每个Docker节点的拟IP地址段： 
etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'

然后在每个节点分别启动Flannel： 
flanneld &

最后需要给Docker动一点手脚，修改它的启动参数和docker0地址。 

在每个节点上执行： 
sudo mk-docker-opts.sh -i
source /run/flannel/subnet.env
sudo rm /var/run/docker.pid
sudo ifconfig docker0 ${FLANNEL_SUBNET} 


重启动一次Docker，这样配置就完成了。 

现在在两个节点分别启动一个Docker容器，它们之间已经通过IP地址直接相互ping通了。 

到此，整个Flannel集群也就正常运行了。 

最后，前面反复提到过Flannel有一个保存在Etcd的路由表，可以在Etcd数据中找到这些路由记录，如下图。 
一篇文章带你了解Flannel
参考资料：
docker下基于flannel的overlay网络分析:  https://my.oschina.net/xue777hua/blog/488345

一篇文章带你了解Flannel:  http://www.open-open.com/news/view/1aa473a/

DockOne技术分享（十八）：一篇文章带你了解Flannel:  http://dockone.io/article/618

成为Docker Commiter需要具备哪些技术能力？:  http://dockone.io/question/196

强烈推荐系列文章:  http://dockone.io/topic/%E5%BE%AE%E4%BF%A1%E5%88%86%E4%BA%AB

etcd的简单使用:  http://www.cnblogs.com/opama/p/5836674.html

二层交换、路由和三层交换:  http://blog.sina.com.cn/s/blog_43c625f101012euf.html

二层交换与三层交换本质区别:  http://bbs.51cto.com/thread-724918-1.html

二层交换、三层交换和路由的原理及区别:  http://blog.csdn.net/chenfei_5201213/article/details/7879438

二层和三层转发:  http://blog.csdn.net/blueoceanindream/article/details/6413262

二层交换与三层IP转发:  http://blog.csdn.net/muaxi8/article/details/51953082

常说的二层跟三层有什么区别？:  http://bbs.c114.net/asktech/question.php?qid=17795

https://github.com/coreos/flannel
图解:  https://raw.githubusercontent.com/coreos/flannel/master/packet-01.png

Pipework、Weave、Flannel各自的优势和区别:  http://dockone.io/question/259

Kubernets,Flannel,Docker网络性能深度测试:  http://www.tuicool.com/articles/JNNFz2f

Docker网络详解及pipework源码解读与实践:  http://www.infoq.com/cn/articles/docker-network-and-pipework-open-source-explanation-practice/#anch142208

图解:  http://cdn2.infoqstatic.com/statics_s1_20161214-0550/resource/articles/docker-network-and-pipework-open-source-explanation-practice/zh/resources/1419560200174.png

尴尬的VXLAN:  http://www.c114.net/news/211/a876004.html

【华为悦读汇】技术发烧友：认识VXLAN:  http://support.huawei.com/huaweiconnect/enterprise/thread-334207.html

隧道和网络虚拟化:NVGRE vs VXLAN:  http://www.sdnlab.com/11819.html


https://www.dkcj.cn/info/22774.html

相关文章：

图像读取、转为灰度图像、均值平滑、显示保存操作

#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <iostream> int main( ) {// 读取图像源cv::Mat srcImage cv::imread("..\\images\\pool.jpg");if( srcImage…

编程日记2024/10/12 22:00:00

python 查询 elasticsearch 常用方法（Query DSL）

2019独角兽企业重金招聘Python工程师标准>>> 1. 建立连接 from elasticsearch import Elasticsearch es Elasticsearch(["localhost:9200"])2. 查询所有数据 # 方式1&#xff1a; es.search(index"index_name", doc_type"type_name"…

编程日记2024/10/12 21:50:00

OpenCV 【十一】—— 图像去畸变，对极约束之undistort,initUndistortRectifyMap，undistort

目录 0.极限约束&#xff0c;对极校正 1.摄像机成像原理简述 2.成像畸变 2.1. 畸变数学模型 2.2. 公式推导 3.畸变校正 3.1. 理论推导 4. 图像去畸变** 5. 图像尺度缩放与内参的关系** 5.1 undistortPoints() 5.2 initUndistortRectifyMap() 5.3 undistort() 6.Un…

编程日记2024/10/12 21:40:00

Ubuntu14.04 Mininet中将Openvswitch升级步骤

2019独角兽企业重金招聘Python工程师标准>>> 首先下载Mininet apt-get install mininetservice openvswitch-controller stopupdate-rc.d openvswitch-controller disablemn --test pingall 这里可能会出现以下错误sudo mn --mac --controllerremote,port6653 --top…

编程日记2024/10/12 21:30:00

（转）软件测试的分类软件测试生命周期

软件测试的分类&软件测试生命周期 软件测试的分类&#xff1a; 按测试执行阶段&#xff1a;单元测试、集成测试、系统测试、验收测试、&#xff08;正式验收测试&#xff0c;Alpha 测试-内侧&#xff0c;Beta 测试-公测&#xff09; 按测试技术分类&#xff1a;黑盒测试、白…

编程日记2024/10/12 21:20:00

OpenCV 【十二】OpenCV如何扫描图像、利用查找表和计时

目录 OpenCV如何扫描图像、利用查找表和计时 1.函数计算时间测试case 2. Mat图像的存储机理 3. 像素遍历的3--4种方式 4. 实例 OpenCV如何扫描图像、利用查找表和计时 如何计算函数运行时间&#xff1f; Mat图像如何存储&#xff1f; 如何高效遍历图像像素&#xff1f; …

编程日记2024/10/12 21:10:00

Java String.split()用法小结

2019独角兽企业重金招聘Python工程师标准>>> 在java.lang包中有String.split()方法,返回是一个数组 我在应用中用到一些,给大家总结一下,仅供大家参考: 1、如果用“.”作为分隔的话,必须是如下写法,String.split("\\."),这样才能正确的分隔开,不能用Strin…

编程日记2024/10/12 21:00:00

217. 验证码 demo

2019独角兽企业重金招聘Python工程师标准>>> 1.效果 2.准备&#xff1a; 下载相关的jar 这里我使用的是ValidateCode 这个jar https://my.oschina.net/springMVCAndspring/blog/1815719 &#xff08;1&#xff09;相关jar下载路径 链接&#xff1a;https://pan.…

编程日记2024/10/12 20:50:00

OpenCV 【十三】矩阵的掩码操作

目录 1 Mask掩膜/滤波核 1.1 原理 1.2 实例 1.3 结果对比 2. filter2D函数 2.1 原理 2.2 实例 2.3 结果 1 Mask掩膜/滤波核 1.1 原理 矩阵的掩码操作很简单。其思想是&#xff1a;根据掩码矩阵&#xff08;也称作核&#xff09;重新计算图像中每个像素的值。掩码矩阵中…

编程日记2024/10/12 20:40:00

【ArrayList】为什么java.util.concurrent 包里没有并发的ArrayList实现？

2019独角兽企业重金招聘Python工程师标准>>> 为什么java.util.concurrent 包里没有并发的ArrayList实现&#xff1f; 问&#xff1a;JDK 5在java.util.concurrent里引入了ConcurrentHashMap&#xff0c;在需要支持高并发的场景&#xff0c;我们可以使用它代替HashMa…

编程日记2024/10/12 20:30:00

Android实现买卖商品小游戏

之前为了学习GreenDao&#xff0c;写的练手项目&#xff0c;欢迎指点 仿手游《混》《买房记》&#xff0c;单机游戏&#xff0c;无需联网 1、主界面 2、游戏界面 可以选择地区出发随机事件&#xff0c;进行贷款/还款&#xff0c;治疗&#xff0c;还债&#xff0c;买卖商品&…

编程日记2024/10/12 20:20:00

OpenCV 【十四】改变图像的对比度和亮度高度关联章节：OpenCV 【十】——Gamma校正 ——图像灰度变化

目录 0 提问 1.1 原理 trick: 1.2 代码 1.3 结果 0 提问 访问像素值 用0初始化矩阵 saturate_cast 是做什么用的&#xff0c;以及它为什么有用 1.1 原理 图像处理 一般来说&#xff0c;图像处理算子是带有一幅或多幅输入图像、产生一幅输出图像的函数。 图像变换可分…

编程日记2024/10/12 20:10:00

getRotationMatrix2D 函数

cv::Mat cv::getRotationMatrix2D( Point2f center, double angle, double scale ) {// 角度转换angle * CV_PI/180;// 计算旋转矩阵角度double alpha cos(angle)*scale;double beta sin(angle)*scale;Mat M(2, 3, CV_64F);double* m (double*)M.data;// 构建旋转矩阵m[0] …

编程日记2024/10/12 20:00:00

java学习笔记-java中运算符号的优先顺序

java中各种运算符具有优先级顺序&#xff0c;一般会先计算优先级高的&#xff0c;再计算优先级低的。可以使用()使得优先级变为最高。在算术运算中&#xff0c;优先级为 --* &#xff0f; -在在逻辑运算中的优先级是 ! 取反&& || & |在位运算中的优先级 &#xff…

编程日记2024/10/12 19:50:00

红帽发布第四季度和2019财年报告，多项指标维持两位数增速

近日&#xff0c;红帽公司发布了其第四季度和2019财年报告。这是在被 IBM以340亿美元的价格收购 后&#xff0c;红帽公布的第一份财报&#xff0c;数据颇为亮眼。 报告显示&#xff0c;红帽公司第四季度总收入8.79亿美元&#xff0c;同比增长14%&#xff1b;整个财年营收34亿美…

编程日记2024/10/12 19:40:00

OpenCV 【十五】绘直线/椭圆/矩形/圆及其填充

目录 1. 概况 2. 原理 2.1 Point 2.2 Scalar 3. 代码 4.结果 1. 概况 如何用 Point 在图像中定义 2D 点 如何以及为何使用 Scalar 用OpenCV的函数 line 绘 直线 用OpenCV的函数 ellipse 绘 椭圆 用OpenCV的函数 rectangle 绘 矩形 用OpenCV的函数 circle 绘 圆 用Op…

编程日记2024/10/12 19:30:00

spring-boot Junit4单元测试

2019独角兽企业重金招聘Python工程师标准>>> 如果是使用spring-boot 1.4以下的版本 RunWith(SpringJUnit4ClassRunner.class) SpringApplicationConfiguration(classes 启动类.class) public class ApplicationTest {//代码省略 } 使用SpringApplicationConfigurat…

编程日记2024/10/12 19:20:00

VideoCapture 读取视频文件，显示视频（帧）信息

#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <iostream> using namespace std; using namespace cv; int main() {// 定义相关VideoCapture对象VideoCapture capture;…

编程日记2024/10/12 19:10:00

Go 1.12发布：改进了运行时性能以及模块支持

Go最新版本1.12于近日发布&#xff0c;该版本并没有改动语法规范&#xff0c;它主要对运行时性能、编译工具链以及模块系统等进行了优化。另外&#xff0c;它还为TLS 1.3提供了opt-in支持&#xff0c;同时改进了对MacOS和iOS等系统的支持。 Go 1.12最大的更新亮点是改进了Go运行…

编程日记2024/10/12 19:00:00

OpenCV 【十六】RNG随机数发生器putText绘制文字

1 目的 使用 随机数发生器类 (RNG) 并得到均匀分布的随机数。 通过使用函数 putText 显示文字。 第一步是实例化一个 Random Number Generator&#xff08;随机数发生器对象&#xff09; (RNG): RNG rng( 0xFFFFFFFF ); 初始化一个 0 矩阵(代表一个全黑的图像), 并且指定它…

编程日记2024/10/12 18:50:00

分享一段Java搞笑的代码注释

原文&#xff1a;http://www.cnblogs.com/xdp-gacl/p/4198935.html // _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // …

编程日记2024/10/12 18:40:00

视频写操作，通道分离与合并

#include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <iostream> using namespace std; using namespace cv; int main() { // 视频读入与输出路径设置 string sourceVideoPath "..\\images\\test.avi"; st…

编程日记2024/10/12 18:30:00

JAVA中的并发工具 -- CountDownLatch、CyclicBarrier、Semaphore

2019独角兽企业重金招聘Python工程师标准>>> CountDownLatchCountDownLatch允许一个或多个线程等待其他线程完成操作。 CountDownLatch的构造函数接受一个int类型的参数作为计数器&#xff0c;如果你想等待N个点完成&#xff0c;这里就传入N。 当我们调用CountDownL…

编程日记2024/10/12 18:20:00

OpenCV 【十七】离散傅立叶变换

目录 1 key 2 原理 3 实例 3代码 4运行结果 5应用举例 1 key 什么是傅立叶变换及其应用? 如何使用OpenCV提供的傅立叶变换? 相关函数的使用&#xff0c;如&#xff1a; copyMakeBorder(), merge(), dft(), getOptimalDFTSize(), log() 和 normalize() . 简单点说就是…

编程日记2024/10/12 18:10:00

ubuntu下nginx+php5的部署

ubuntu下nginxphp5环境的部署和centos系统下的部署稍有不同&#xff0c;废话不多说&#xff0c;以下为操作记录&#xff1a;1&#xff09;nginx安装rootubuntutest01-KVM:~# sudo apt-get update && sudo apt-get upgraderootubuntutest01-KVM:~# sudo apt-get install…

编程日记2024/10/12 18:00:00

图像质量评价，图片放大和缩小

#include <opencv2/core/core.hpp>#include <opencv2/highgui/highgui.hpp>#include <opencv2/imgproc/imgproc.hpp>#include <iostream>using namespace cv;using namespace std;// PSNR 峰值信噪比计算 返回数值为30-50dB 值越大越好double PSNR(con…

编程日记2024/10/12 17:50:00

软件开发--深入理解程序的结构

程序由不同的段构成(代码段&#xff0c;数据段)1.程序的静态特征就是指令和数据2.程序的动态特征就是执行指令处理数据 A.段传统上&#xff0c;一个程序一般会有这几个段:.text 、.data、.bss段a.如果处理器由内存管理单元&#xff0c;那么可执行程序被加载到内存以后&#xff…

编程日记2024/10/12 17:40:00

OpenCV 【十八】图像平滑处理/腐蚀与膨胀(Eroding and Dilating)/开闭运算，形态梯度，顶帽，黑帽运算

图像滤波总结&#xff08;面试经验总结&#xff09;https://blog.csdn.net/Darlingqiang/article/details/79507468 目录 part one 图像平滑处理 1原理 2代码 3效果 part two 腐蚀与膨胀(Eroding and Dilating) 1原理 2代码 3运行结果 part three更多形态学变换 1 原…

编程日记2024/10/12 17:30:01

第九章 大网高级 ASA 高级设置

url 过滤实验要求&#xff1a;1、 创建class-map 类映射&#xff0c;识别传输流量。2、 创建policy-map策略映射&#xff0c;关联class-map。3、 应用到policy-map到接口上。一、 配置接口地址二、 配置路由&#xff0c;网络互通三、 创建特权和vty 密码四、 验证网络互通五、 …

编程日记2024/10/12 17:20:00

linux基础知识-链接列表

linux基础知识-链接列表 1. 安装centos 7 1.1 Linux的初识1.2 centOS 7安装教程1.3 centOS 7配置ip和网络问题排查1.4 PuTTY和Xshell远程连接与密钥认证登录1.5 单用户和救援模式2. 文件与目录管理 1.6 系统目录结构、文件类型及相关命令1.7 文件目录管理及相关的命令使用方法…

编程日记2024/10/12 17:10:00