利用负载均衡优化和加速HTTP应用
1.负载均衡技术简介
现代企业信息化应用越来越多的采用B/S应用架构来承载企业的关键业务,因此,确保这些任务的可靠运行就变得日益重要。随着越来越多的企业实施数据集中,应用的扩展性、安全性和可靠性也越来越受到企业的重视。
负载均衡技术通过设置虚拟服务器IP(VIP),将后端多台真实服务器的应用资源虚拟成一台高性能的应用服务器,通过负载均衡算法,将大量来自客户端的应用请求分配到后端的服务器进行处理。负载均衡设备持续的对服务器上的应用状态进行检查,并自动对无效的应用服务器进行隔离,实现了一个简单、扩展性强、可靠性高的应用解决方案。解决了单台服务器处理性能不足,扩展性不够,可靠性较低的问题。
近年来,随着Web2.0和B/S技术的迅猛发展,HTTP应用逐渐成为当今的主流应用,而负载均衡技术也有了很大的发展。从传统的基于四层端口号进行简单的应用请求转发,到目前基于七层内容进行请求的转发和处理。尤其是在HTTP协议的优化和加速方面,一些技术逐渐发展成熟,如:TCP连接复用、内容缓存、TCP缓冲、HTTP压缩、SSL加速等。这些技术的应用有助于进一步改善用户访问响应时间、节约广域网链路带宽和服务器资源。
2. HTTP优化和加速特性带来的优势
2.1 TCP 连接复用(TCP Connection Reuse)
TCP连接复用技术通过将前端多个客户的HTTP请求复用到后端与服务器建立的一个TCP连接上。这种技术能够大大减小服务器的性能负载,减少与服务器之间新建TCP连接所带来的延时,并最大限度的降低客户端对后端服务器的并发连接数请求,减少服务器的资源占用。
一般情况下,客户端在发送HTTP请求之前需要先与服务器进行TCP三次握手,建立TCP连接,然后发送HTTP请求。服务器收到HTTP请求后进行处理,并将处理的结果发送回客户端,然后客户端和服务器互相发送FIN并在收到FIN的ACK确认后关闭连接。在这种方式下,一个简单的HTTP请求需要十几个TCP数据包才能处理完成。
采用TCP连接复用技术后,客户端(如:ClientA)与负载均衡设备之间进行三次握手并发送HTTP请求。负载均衡设备收到请求后,会检测服务器是否存在空闲的长连接,如果不存在,服务器将建立一个新连接。当HTTP请求响应完成后,客户端则与负载均衡设备协商关闭连接,而负载均衡则保持与服务器之间的这个连接。当有其它客户端(如:ClientB)需要发送HTTP请求时,负载均衡设备会直接向与服务器之间保持的这个空闲连接发送HTTP请求,避免了由于新建TCP连接造成的延时和服务器资源耗费。
图例 1 TCP连接复用(TCP Connection Reuse)
在HTTP 1.0中,客户端的每一个HTTP请求都必须通过独立的TCP连接进行处理,而在HTTP 1.1中,对这种方式进行了改进。客户端可以在一个TCP连接中发送多个HTTP请求,这种技术叫做HTTP复用(HTTP Multiplexing)。它与TCP连接复用最根本的区别在于,TCP连接复用是将多个客户端的HTTP请求复用到一个服务器端TCP连接上,而HTTP复用则是一个客户端的多个HTTP请求通过一个TCP连接进行处理。前者是负载均衡设备的独特功能;而后者是HTTP 1.1协议所支持的新功能,目前被大多数浏览器所支持。
有些用户和厂商喜欢采用连接复用率来评判一个负载均衡设备的TCP连接复用技术的好坏。一般来说,TCP连接复用率是指一段时间内负载均衡设备成功处理的客户端HTTP请求总数与这段时间负载均衡与服务器之间建立的TCP连接总数的比值。但是, TCP连接复用率和应用的特点、服务器设置、计算周期以及请求的发送模式等也有很大的关系,不同的应用环境下计算出来的TCP连接复用率会有很大的差异。其实,连接复用效率的关键在于负载均衡设备是否能够及时释放已经空闲的服务器端连接。有些厂商采用发送HTTP响应后等待一定时间,如果这段时间内无数据传输即释放该连接。而等待时间往往是秒级的,对于数据往返时间的毫秒级,其复用效果明显不会很好。最为有效的连接复用技术是在负载均衡设备给客户端发送HTTP响应之后,收到客户端确认ACK数据包即释放该连接。这种方式避免了任何额外的等待时间,理论上没有更高效的复用方法。
2.2 内容缓存(RAM Caching)
内容缓存技术将应用服务器中的一些经常被用户访问的热点内容缓存在负载均衡设备的内存中。当客户端访问这些内容时,负载均衡设备截获客户端请求,从缓存中读取客户端需要的内容并将这些内容直接返回给客户端。由于是直接从内存中读取,这种技术能够提高网络用户的访问速度,并大大减轻后端服务器的负载情况。
内容缓存的工作原理非常简单,我们将通过下图用户访问logo.gif的实例来解释内容缓存的工作过程:
1) 当有客户端发起对logo.gif的第一个请求时,负载均衡首先会检查本地缓存中是否存在该对象。如果不存在这个对象,负载均衡会将这个HTTP请求转发给后端的服务器;
2) 服务器收到对logo.gif的HTTP请求后,将图片内容回应给负载均衡设备;
3) 负载均衡设备将logo.gif对象缓存在内容缓存中,并将其发送给客户端;
4) 后续的其它客户端发起对logo.gif的访问请求时,如果负载均衡检测到内容缓存中已经存在该对象,并确认该对象并未失效的话,负载均衡直接将该对象返回给客户端,而无需服务器再次发送该对象。
图例 2 内容缓存(RAM Caching)
内容缓存技术采用了HTTP协议中的一些标准缓存处理技术,将本应保存在客户端本地浏览器缓存中的内容共享给其他用户。因此,对于客户端来说,内容缓存技术是完全透明的。最常见的对象包括:gif/jpg图片,静态的css/js/html等文本文件等。
2.3 TCP缓冲机制
TCP缓冲是为了解决后端服务器网速与客户的前端网络速度不匹配而造成的服务器资源浪费的问题。由于服务器与负载均衡设备之间的网络带宽速率高,时延小,通过将服务器端的请求缓冲在负载均衡设备的缓冲区中,防止由于客户端缓慢的网络链路和较高的时延造成服务器端连接阻塞问题。
通过采用TCP缓冲技术,可以提高服务器端响应时间和处理效率,减少由于通信链路问题给服务器造成的连接负担。另外,由负载均衡设备来处理网络阻塞造成的数据包重传,使每个客户端的流量得到最佳的控制。
图例 3 TCP缓冲(TCP Buffer)
如上图所示,客户端与负载均衡之间采用的链路具有较高的时延和较低的带宽,而负载均衡与服务器之间采用时延较低和高带宽的局域网连接。
1) 负载均衡收到客户端发来的HTTP请求并将其转发给后端的服务器进行处理;
2) 服务器对请求进行处理后,将响应的内容依次返回负载均衡设备,负载均衡设备收到响应的数据包后,会将数据包依次缓存在缓冲区中,服务器的响应速度将依据负载均衡和服务器之间的链路质量;
3) 当负载均衡上缓存了第一个响应的数据包后,负载均衡将响应的数据包按次序返回给客户端,此时,响应的速度将依赖于负载均衡与客户端之间的链路质量;
4) 当响应内容数据包依次传送给客户端并收到客户端的ACK确认请求后,负载均衡将缓冲区资源释放出来为其它TCP连接使用。
TCP缓冲技术是L7应用负载均衡的核心,它将服务器与客户端之间的TCP连接分成两个独立的TCP连接,并分别进行处理,以适应两边不同的网络环境。此外,通过TCP缓冲技术,将客户端的HTTP请求完整的接收下来并进行分析,还可以提供一些高级负载均衡的应用功能,如:URL-Hashing,URL交换(URL-Switching),基于Cookie或会话的连接保持(Cookie/Session Persistence)等等。
2.4 HTTP压缩(HTTP Compression)
HTTP协议在v 1.1中新增了压缩功能,如果客户端浏览器和服务器都支持压缩功能的话,通过客户端和服务器进行协商,对客户端的响应请求进行压缩处理。大幅节省内容传输时所需要的带宽,并加快客户端的响应速度。但是,压缩算法本身需要耗费大量的CPU资源,因此,负载均衡设备通过对HTTP压缩功能进行支持,减轻Web服务器的资源耗费,提高其处理效率。另外,由于负载均衡一般都采用硬件的方式进行压缩,因此,压缩的效率更高。此外,对于一些不支持HTTP压缩功能的老版本的Web服务器,通过启用负载均衡上的压缩功能,可以实现对系统的优化和加速。
图例 4 HTTP压缩(HTTP Compression)
如上图所示,在负载均衡上实现HTTP压缩功能的流程如下:
1) 客户端与负载均衡建立TCP连接后,发送HTTP请求(如Get请求),客户端会将自身浏览器所支持的功能和配置情况发送给负载均衡,如:是否支持压缩、支持的压缩算法、是否支持Keep-alive(连接保持)、连接保持的时间等;
2) 负载均衡在收到HTTP请求后,会将其中的有关压缩的标记删除,然后将请求转发给服务器进行处理;
3) 服务器将响应的内容转发给负载均衡;
4) 负载均衡收到响应的内容后,依照与客户端之间协商的压缩算法对响应的内容进行压缩,然后将压缩后的内容发送回客户端;
5) 客户端收到响应的内容后,由浏览器对网页内容进行解压缩并进行浏览。
由于HTTP压缩采用的是HTTP v1.1协议中支持的标准压缩算法,因此,目前主流的浏览器(如:Internet Explorer,Firefox,Opera,Netscape等)均默认支持HTTP v1.1中的压缩功能。对于用户来说,无需修改浏览器配置也不需要安装任何插件。采用负载均衡来代替服务器做压缩,能够大幅节省服务器的资源,可以使服务器专注于应用的处理,从而提高业务处理量。另外,即使服务器不支持HTTP压缩,通过负载均衡也能实现压缩功能。
压缩能力的大小取决于被压缩对象的性质。一般来说,HTTP压缩算法对于文本格式的内容有较好的压缩效率;而对于gif等图片格式的内容,由于本身已经进行过压缩处理,压缩效率并不高。所以,需要负载均衡支持选择性压缩,即可以根据对象的类型进行选择性压缩。
2.5 SSL加速(SSL Acceleration)
一般情况下,HTTP采用明文的方式在网络上传输,有可能被非法窃听,尤其是用于认证的口令信息等。为了避免出现这样的安全问题,一般采用SSL协议(即:HTTPS)对HTTP协议进行加密,以保证整个传输过程的安全性。在SSL通信中,首先采用非对称密钥技术交换认证信息,并交换服务器和浏览器之间用于加密数据的会话密钥,然后利用该密钥对通信过程中的信息进行加密和解密。
SSL是需要耗费大量CPU资源的一种安全技术。目前,大多数负载均衡设备均采用SSL加速芯片进行SSL信息的处理。这种方式比传统的采用服务器的SSL加密方式提供更高的SSL处理性能,从而节省大量的服务器资源,使服务器能够专注于业务请求的处理。另外,采用集中的SSL处理,还能够简化对证书的管理,减少日常管理的工作量。
图例 5 SSL加速
SSL的处理流程如下:
1) 客户端发起HTTPS连接请求,协商传输的加密算法,确认双方身份,并交换会话密钥。
2) 负载均衡收到客户端加密的HTTPS请求后,对请求的信息进行解密,然后通过HTTP的方式发送给后端的服务器。
3) 服务器将请求的处理结果返回给负载均衡设备。
4) 负载均衡设备利用会话密钥对请求的结果进行加密,然后将结果返回给客户端。
5) 客户端采用会话密钥对返回结果进行解密,并显示在浏览器上。
在负载均衡设备中实现SSL加速功能,只需要在负载均衡设备上导入SSL证书和密钥即可。当客户端发起对虚拟服务器的HTTPS请求时,负载均衡设备自动和客户端进行SSL协议的协商并交换会话密钥。客户端发送的请求以及负载均衡返回的响应均采用会话密钥进行加密,而负载均衡设备与后端服务器之间则采用HTTP的方式进行请求的发送和处理。
3. 在实际环境中应用负载均衡产品需要注意的问题
负载均衡设备提供的这些HTTP优化和加速功能,能够大大的降低客户端的响应时间,降低带宽利用率,并且能降低服务器端负载情况,节省服务器资源。但是,目前主流的负载均衡产品在同时开启多个HTTP优化和加速功能时,设备的处理性能会大大降低。尽管各个厂家均宣称自己的设备有较高的性能处理指标,并通过第三方的测评机构公布一些产品性能测试数据,但是,这些数据一般都是在一些特别设置的实验环境下测试出来的,只能作为不同厂商产品之间性能对比的依据,而不能作为用户实际应用环境的选型依据。
此外,大多数厂商都采用基本硬件平台上加装功能卡或购买许可证的方式提供这些HTTP的优化和加速功能。如果用户想在应用加速的整体解决方案中采用这些功能,需要花费更多的采购成本。对于用户来说,这些高级特性和功能如同水中之月,可望而不可及。因此,在选购负载均衡产品的时候,一定要了解自己的应用究竟需要采用哪些功能特性,而实现这些特性又需要哪些额外的费用。
A10 Networks的AX系列高级流量管理器采用目前主流的高性能多核CPU进行设计开发,通过结合四层流量处理ASIC和自主研发的ACOS系统,提供无比的性能优势,尤其是在开启多个优化和加速特性后,仍能保持较高的处理性能。2008年1月,在Tolly Group的测试中,单台AX设备实现了每秒百万的交易处理量,是截至目前唯一实现每秒百万级交易处理量的负载均衡设备。AX以其卓越的性能为客户提供最佳性价比,并提供最大的每瓦特性能,满足当今绿色计算对节能的要求。此外,AX产品采用all-in-one的销售模式,在单台硬件设备中提供所有的高级功能特性,如:内容缓存,HTTP压缩,SSL加速,IPv6,GSLB等。这些功能已经内置在AX的ACOS系统之中,不需要用户花费任何额外的费用。AX这种新的销售模式可以为用户带来巨大的利益,节省用户投资成本。
E.S.
原文:http://virtualadc.blog.51cto.com/3027116/580832
相关文章:

查看sqlserver被锁的表以及如何解锁
查看sqlserver被锁的表以及如何解锁查看被锁表:www.2cto.com select request_session_id spid,OBJECT_NAME(resource_associated_entity_id) tableName from sys.dm_tran_locks where resource_typeOBJECTspid 锁表进程 tableName 被锁表名解锁&#x…

Centos 6.4下MySQL备份及还原详情介绍
我们前面文中中介绍了centos 6.4下MySQL的安装及配置,安装后为了保证数据的安全性所以我们同样也要学会备份及还原,备份及还原操作在我们的真实工作环境中是必不可少的,由于是对数据库数据备份,所以今天我们就随之介绍一下&#x…

iPhone 13 终于等到了!降价、新颜色、电池续航性能大提升
整理 | 禾木木、苏宓 出品 | AI科技大本营(ID:rgznai100) 它来了,真的来了! 不知有多少朋友守在今日凌晨观看一年一度的科技春晚——苹果发布会! 还是那个熟悉的样子,从加利福尼亚的沙漠中向我们走来&am…

“httpd未被被识别的服务”的解决办法
使用自动编译安装会出现这个问题,也就是输入 #service httpd restart 给出这样的提示;这时候要重启可以 #/usr/local/apache2/bin/apachectl start 如果你希望使用 #service httpd restart 那么需要按下面的做法 注意的是daemon /usr/local/apache…

安装sql 2005 闪退 连接到服务器失败。错误:0x80070424
可以尝试安装.net4.0 我是通过此办法解决。 本文转自 freeterman 51CTO博客,原文链接:http://blog.51cto.com/myunix/1751338,如需转载请自行联系原作者

简述DataInputStream和DataOuputStream
2019独角兽企业重金招聘Python工程师标准>>> Java开发中经常会用到IO流,那么就会碰到DataInputStream和DataOuputStream这两个包装类。下面就来简述一下这两种包装类的用法: 1.DataOutputStream:标准的数据输出流,将ja…

数字时代企业迎变局,如何让增长变简单?
随着企业数字化转型进入深水区,企业增长模式正迎来跨时代巨变:营销场景复杂且多变,用户触点丰富而分散, MarTech(营销技术)解决方案愈加碎片化,企业营销增长过程中各环节间的割裂,让…

Linux服务器网络开发模型
为什么Nginx的性能要比Apache高得多? 这主要是因为Nginx使用了最新的epoll(Linux 2.6内核)和kqueue(FreeBSD)网络I/O模型,而Apache则使用的是传统的select模型。曾在一篇博客上看到有这么个实例:假设你在大…

《从零开始学Swift》学习笔记(Day 47)——final关键字
在类的定义中使用final关键字声明类、属性、方法和下标。final声明的类不能被继承,final声明的属性、方法和下标不能被重写。 下面看一个示例: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051final cl…

CentOS 5.5 编译安装apache+php+mysql,利用CMS快速建立论坛
这个是转来的,细节没有验证,请网友自己斟酌。。。。。。。。。。CentOS 5.5 编译安装apachephpmysql,利用CMS快速建立论坛1、安装Apache [rootbogon tmp]# wget http://labs.renren.com/apache-mirror/httpd/httpd-2.2.15.tar.bz2 [rootbogo…
SDT(software-defined Things)?软件定义的物件
物联网(IOT)的概念早在1999年就被宝洁公司的员工Kevin Ashton正式提出,可直到这最近几年才越来越火,无论国内外,但凡跟IOT 搭上点边的都能吸引众多的目光。2014年,投到智能硬件方向的风险资金就占到VC的一半…

赠书福利 | Tidio AI 趋势报告:约42%受访者能够接受机器人伴侣
编译 | 禾木木出品 | AI科技大本营(ID:rgznai100)文章内图源:Tidio近日,波士顿动力发布了一段机器人跳舞的视频,有些人不敢相信他们所看到的,它看起来更像是皮克斯动画而不是真实的镜头。有人说:…

Airlaunch 快捷设置代码分享
Airlaunch 快捷设置代码分享设置:prefs:rootSETTING蜂窝网络:prefs:rootMOBILE_DATA_SETTINGS_IDWIFI:prefs:rootWIFI定位服务:prefs:rootLOCATION_SERVICES蓝牙:prefs:rootBluetooth辅助功能:prefs:rootGe…

hdu3829(最大独立集)
传送门:Cat VS Dog 题意:动物园有N只猫,M只狗,P个小孩。每个小孩都有自己喜欢的动物和讨厌的动物,如果他喜欢狗,那么就讨厌猫, 如果他讨厌狗,那么他就喜欢猫。某个小孩能开心&#x…

数据科学家:那些年,我都学过哪些编程语言…
前言 我们对事物的看法各不相同,有时他人特别喜欢的语言可能会成为另一个人的的噩梦。而我个人的噩梦是用C语言进行日常的编程工作。 本文就介绍了作为一名数据科学家,我在职业生涯中所学过的语言,其中包括MATLAB、Weka、R、C 以及Python。 数…

short_open_tag 必须打开
在使用phpcms本地安装的过程中,到运行环境检测这一步,发现:short_open_tag 必须打开。 从网上搜索相关资料时,发现,将php.ini文件中的short_open_tag off 项,设置成on,重启服务器即可。 shor…

10.15 iptables filter表案例
2019独角兽企业重金招聘Python工程师标准>>> iptables常用知识回顾点 iptables -I/-A/-D 后紧跟 链 ,可以是INPUT,OUTPUT,FORWARDiptables -P 用来指定 链的默认策略 ——>最好不要直接操作,否则会造成远程的终端断…

高并发大型网站架构设计
一个大型的网站网站应该由如下6个子系统组成 负载均衡系统 反向代理系统 Web服务器系统 分布式存储系统 底层服务系统 数据库集群系统 为什么要做高并发系统设计? 事实上,针对于任何单一的网络服务器程序,其可承受的同时连接数目是有理…

Tidio AI 趋势报告:约42%受访者能够接受机器人伴侣
编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 文章内图源:Tidio 近日,波士顿动力发布了一段机器人跳舞的视频,有些人不敢相信他们所看到的,它看起来更像是皮克斯动画而不是真实的镜头。 有人说&#x…

微信公众平台对所有公众号开放自定义菜单
据统计,微信公众号已达1000多万了,但大多数没有微信认证,且没有开发能力,为此微信公众平台开放了自定义菜单功能给所有公众号,这是微信团队年前给广大自媒体送的大礼,期待微信越来越开放 公众帐号运营者点击…

SignalR网页实时推送
1.新建项目,选择mvc4 Wed应用程序,选择Internet,视图引擎:Razor 2.在控制器中添加 并添加上视图 3.引用(install-package Microsoft.AspNet.SignalR) 4.添加Startup 项目名 5.新建Hubs文件夹,添…

Hyper-V虚拟化测试05防火墙及证书配置
3.防火墙和证书3.1、防火墙配置打开Windows防火墙,并进入到高级配置入站规则,启用“Hyper-V副本HTTP侦听器(TCP入站)”和“Hyper-V副本HTTPS侦听器(TCP入站)”可以看到已经启用了如上两条规则允许入站流量3…

httpwatch的timechart 解析
从timeChart,我们可以一目了然的看到那些请求花费的时间较长,一般柱状的长短表示从请求到接受共花费的时间,我们重点需要优化那些柱状较长的部分,当然我们也可以点击time列,按请求时间排到序,直接找出请求时…

英特尔北京2022年冬奥会体验中心落成
2020年东京奥运会已圆满落幕,全社会进入到为北京2022年冬奥会紧锣密鼓筹备的倒计时模式。近日,“英特尔北京2022年冬奥会体验中心”在北京石景山区首钢园落成,并举办了媒体开放日活动。以体验中心为窗口,英特尔在近千平米的展厅中…

机器学习 LR getA()
机器学习 LR getA() 前面的几位回答都没有解决getA()是什么的问题,碰到同样的问题,解释如下:matrix.getA()Return self as an ndarray object.Equivalent to np.asarray(self).Parameters: None Returns: ret : ndarrayself as an ndarray 也…

memcache安装
转载自 http://zhaochen.blog.51cto.com/2029597/390037 一,memcache简单介绍: memcached是高性能的分布式内存缓存服务器,为了提高性能,memcached中的数据都保存在内存中,重启memcached及重启操作系统都会导致缓存中的…

算法小论——第三章 又把新桃换旧符
2019独角兽企业重金招聘Python工程师标准>>> 笔记 这一章主要是渐进记号和高中数学的回忆。 几个标记: Θ -- 上界和下界,绑定值,相当于f(n) ∈ [c1 * g(n), c2 * g(n)]Ω -- 闭区间下界,最好运行时间,相当…

来体验一把职场人的真实训练,检验你的工程化交付能力!
长沙软件人才实训基地是由政府引导,长沙软件园(大型国企)、万兴科技(A股上市公司)和CSDN(中国开发者社区)三方参与,强强联手,倾力打造的人才培育平台,旨在通过…

从C#到Objective-C,循序渐进学习苹果开发(7)--使用FMDB对Sqlite数据库进行操作
本随笔系列主要介绍从一个Windows平台从事C#开发到Mac平台苹果开发的一系列感想和体验历程,本系列文章是在起步阶段逐步积累的,希望带给大家更好,更真实的转换历程体验。本篇主要开始介绍基于XCode进行IOS程序的开发,介绍使用FMDB…

nginx做方向代理不显示图片的问题
在nginx的配置文件中加上 location ~ \.(jpg|png|jpeg|bmp|gif|swf|css)$ { access_log off; expires 30d; root /www/htdocs/market; break; }