2010-09-28 10:09:07 
阿炯
Linux Virtual Server ( Linux 虚拟服务 简称LVS) 是指使一个群集的服务器在对外服务时表现为单个服务器的技术。这个表现出来的“单个服务器”被我们称为“虚拟服务器”。那些单独的组成集群的服务器(也就是真实提供服务的服务器，我们称为realservers)是由内核打了ipvs补丁包的Linux控制器(或是负载平衡器)控制着。运行的ipvs补丁包的控制器就具体了基本的LVS特征。其它运用层的程序是用来管理LVS(如：为服务处理，容错处理设置规则)。控制器是基于可修改规则的4层路由结构(换而言之，连接并不来自于或是终止于控制器，控制器并不发送信息，它仅仅是一个路由)。LVS方式的cluster从结构上可分为两部分：前端的负载均衡器(称之为director)和后端的真实服务器(称之为real server)。cluster前端的director将来自外界的请求调度到cluster后端不同的real server去执行，real server负责真正的提供各种应用服务，比如：Web、FTP、Mail等服务，real server的数量可以根据实际需求进行增加、减少。
在LVS结构中一个新的连接是如何由客户端请求到服务器的呢(以httpd为例)，控制器将为客户端选择一个真实服务器(realserver)。客户端与真实服务器(realserver)之间将以 tcp(或是udp)通信。当下一个tcp请求来临时，控制器将为它选择一个新的真实服务器(realserver)(这个也许是，或不是之前的那个真实服务器)。所以，浏览器请求由LVS系统所提供的一个复杂页面(包括众多图片、文档)时，有可能为每个连接都指向不同的真实服务器。
由于控制器随机把客户请求发送给某台真实服务器，这个请求有可能是只读操作(如，web服务)，也有可能是读写操作(如，在线商店的购物车)，因此某些外部机制必须提供给LVS用来将这种请求在适当的时候发送给其它的真实服务器(所有节点的真实服务器，这次购买物品的数量应该在下次购买该物品前减一)。最好LVS系统只提供只读服务。
假设你希望某个服务节点能够在任意时间更新，同时其它没有成为首要节点的节点(或是多个节点)被激活成主节点提供服务，那么你需要的可能并不是LVS系统：而是高可用性设置，例：如LINUX-HA(LINUX心跳系统)，vrrp 或是 carp。如果你想要一些分布在不同地区的服务器，那么需要的是类似 Supersparrow的异地分布式服务器。
用户工具ipvsadm及schedulers是用于管理LVS，用来添加真实服务器以及移除出错服务器。LVS自身不用于检测错误状态；外部代理通过ipvsadm检测错误状态，然后更新LVS状态。
目前LVS主要有三种请求转发方式和八种调度算法。根据请求转发方式的不同，所构架集群的网络拓扑、安装方式、性能表现也各不相同。用LVS主要可以架构三种形式的集群，分别是LVS/NAT、LVS/TUN和LVS/DR，可以根据需要选择其中一种。在选定转发方式的情况下，采用哪种调度算法将决定整个负载均衡的性能表现，不同的算法适用于不同的应用场合，有时可能需要针对特殊场合，自行设计调度算法。
LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由)。不同的转发模式决定了不同的cluster的网络结构，下面对三种转发方式分别介始：
NAT(网络地址映射)
NAT 方式可支持任何的操作系统，以及私有网络，并且只需一个Internet Ip地址，但是整个系统的性能受到限制。因为执行NAT每次需要重写包，有一定的延迟；另外大部分应用有80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对负载均衡器形成很大压力，成为了新的瓶颈。
IP Tunneling(IP隧道)
director 分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接。IP Tunneling技术极大地提高了director的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过100个节点。real server可以在任何LAN或WAN上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。服务器必须拥有正式的IP地址用于与客户机直接通信，并且所有服务器必须支持IP隧道协议。
Direct Routing(直接路由)
与IP Tunneling类似，负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性。Direct Routing与IP Tunneling相比，没有IP封装的开销，但由于采用物理层(修改MAC地址)技术，所有服务器都必须在一个物理网段。
LVS的算法是逐渐丰富起来的，最初LVS只提供四种调度算法，后来发展到以下八种：
1.轮叫调度(Round Robin)
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
2.加权轮叫(Weighted Round Robin)
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
3.最少链接(Least Connections)
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载。
4.加权最少链接(Weighted Least Connections)
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
5.基于局部性的最少链接(Locality-Based Least Connections)
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接” 的原则选出一个可用的服务器，将请求发送到该服务器。
6.带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 Ip地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
7.目标地址散列(Destination Hashing)
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键(Hash Key)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
8.源地址散列(Source Hashing)
“源地址散列”调度算法根据请求的源IP地址，作为散列键(Hash Key)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。了解这些算法原理能够在特定的应用场合选择最适合的调度算法，从而尽可能地保持Real Server的最佳利用性。当然也可以自行开发算法，不过这已超出本文范围，请参考有关算法原理的资料。
LVS提供了三种转发机制(Traffic Forward Mechanism)、四种分配方法(Load-balancing Methods)，以下再详述一些。
转发机制(Traffic Forward Mechanism)，三种不同的转发机制分别将LVS主机建构成：
NAT虚拟主机 Virtual Server via Network Address Translation
IP Tunneling虚拟主机 Virtual Server via IP Tunneling
Direct Routing虚拟主机 Virtual Server via Direct Routing
负载平衡主机可称为Virtual Server ( 虚拟主机 )、Load Balancer (负载平衡器)、Linux Director (导引主机)，以下简称为LVS主机。
NAT虚拟主机 Virtual Server via Network Address Translation ( VS/NAT )
由于IPv4中IP地址空间的日益不足和安全方面的原因，很多网络使用Internet上未被分配的私有IP地址 (10.0.0.0/255.0.0.0、 172.16.0.0/255.128.0.0 和192.168.0.0/255.255.0.0)。当内部网络中的主机要连结Internet或被Internet连结时，就需要采用网络地址转换 (Network Address Translation, 以下简称NAT)，可以用NAT方法将不同IP地址的并行网络服务变成在一个IP 地址上的一个虚拟服务。
VS/NAT的体系结构
在一组服务器前有一个LVS主机，用户通过Virtual IP Address(即LVS主机的外部地址)连结服务时，请求到达LVS主机，LVS主机以负载平衡方法从一组真实服务器选出一个，将目标地址 Virtual IP Address重新指向内部实际提供服务服务器的地址。同时，LVS主机记录这个连接，当这个连接的真实服务器的响应经过LVS主机时，LVS主机将来源 地址和来源端口改?Virtual IP Address和相应的埠，再把响应发给用户。当连接终止或逾时，LVS主机将这个连接从纪录中删除。这样，用户所看到的只是在Virtual IP Address 上提供的服务。
IP Tunneling 虚拟主机 Virtual Server via IP Tunneling (VS/TUN)
在VS/NAT 的集群系统中，请求和应答的封包都需要通过LVS主机，当实际服务器的数量超过20时，LVS主机将成为集群系统的新瓶颈。利用IP隧道技术将请求封包封装转发给后端服务器，响应封包能从后端服务器直接返回给客户。但在这里，后端服务器有一组而非一个，所以我们不可能静态地建立一一对应的隧道，而是动态地选择一台服务器，将请求封包封装和转发给选出的服务器。这样，我们可以利用IP隧道的原理将一组服务器上的网络服务组成在一个IP地址上的虚拟网络服务。
VS/TUN的体系结构
各个服务器将 VIP地址配置在自己的IP隧道设备上。
VS/TUN 的连接分配和管理与VS/NAT中的一样，只是它的封包转发方法不同。负载平衡主机根据各个服务器的负载情况，动态地选择一台服务器，将请求封包封装在另一个IP封包中，再将封装后的IP封包转发给选出的服务器；那台服务器收到封包后，先将封包解封获得原来目标地址为VIP的封包，服务器发现VIP地址被 配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应封包直接返回给客户。
Direct Routing 虚拟主机 Virtual Server via Direct Routing (VS/DR)，这种IP层负载平衡方法与IBM的NetDispatcher中的方法类似。
VS/DR的体系结构
LVS 主机和服务器组都必须在同一网络区域中，如通过交换机或者高速的HUB相连。VIP地址为LVS主机和服务器组共享，LVS主机配置的VIP地址是对外可连结的，用于接收虚拟服务的请求封包；所有的服务器把VIP地址配置在各自的Non-ARP网络设备上，它对外面是不可见的，只是用于处理目标地址? VIP的网络请求。
VS/DR的连接分配和管理与VS/NAT和VS/TUN中的一样，它的封包转发方法又有不同，将封包直接路由给目标服务器。在VS/DR中，LVS主机根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP封包，而是将资料封包的MAC地址改为选出服务器的MAC地址，再将修改后的资料封 包在与服务器组的局域网上发送；因为资料封包的MAC地址是选出的服务器，所以服务器肯定可以收到该封包，发现VIP 地址被配置在本地的网络设备上，所以就处理这个请求，然后根据路由表将响应封包直接返回给客户。
三种转发机制的优缺点
● Virtual Server via NAT
VS/NAT 的优点是服务器可以运行任何支持TCP/IP的操作系统，它只需要一个IP地址配置在LVS主机上，服务器组可以用私有的IP地址。缺点是它的扩充能力有 限，当服务器结点数目升到20时，LVS主机本身有可能成为系统的新瓶颈，因为在VS/NAT中请求和响应封包都需要通过负载LVS主机。在 Pentium 166主机上测得重写封包的平均延时为60us，假设TCP封包的平均长度为536 Bytes，则LVS主机的最大吞吐量为8.93 MBytes/s。再假设每台服务器的吞吐量为600KBytes/s，这样一个LVS主机可以带动16台服务器。
● Virtual Server via IP Tunneling
在VS/TUN 的集群系统中，负载LVS主机只将请求分配到不同的实际服务器，实际服务器将应答的资料直接返回给用户。这样，负载LVS主机就可以处理巨量的请求，而不会成为系统的瓶颈。即使负载LVS主机只有100Mbps的全双工网卡，虚拟服务器的最大吞吐量可以达到几Gbps。所以，VS/TUN可以极大地增加负 载LVS主机分配的服务器数量，它可以用来构建高性能超级服务器。VS/TUN技术对服务器的要求是所有的服务器必须支持"IP Tunneling"或者"IP Encapsulation"协议。目前，VS/TUN 的后端服务器主要运行Linux操作系统。因为"IP Tunneling"正成为各个操作系统的标准协议，所以VS/TUN也会适用运行其它操作系统的后端服务器。
● Virtual Server via Direct Routing
同VS/TUN 一样，VS/DRLVS主机只处理客户到服务器端的连接，响应资料可以直接从独立的网络路由返回给客户。这可以极大地提高LVS集群系统的伸缩性。同 VS/TUN相比，这种方法没有IP隧道的开销，但是要求负载LVS主机与实际服务器都有一块网卡连在同一物理网段上，服务器网络设备或者设备别名不作 ARP 响应。
四种分配方法(Load-balancing Methods)
不同的分配方法建构LVS主机成四种不同的排程
负载平衡排程是以连接为单位的。在HTTP协议(nowait)中，每个对象从WEB服务器上获取都需要建立一个TCP连接，同一用户的不同请求会被分配到不同的服务器上，所以这种连接的分配完全避免了用户连结的突发性引起的负载不平衡。目前有以下4种排程算法：
轮流排程 Round-Robin Scheduling (RRS)
轮流排程算法是假设所有服务器处理性能均相同，依次将请求分配不同的服务器，算法简单，但不适用于服务器组中处理性能不一致的情况。
加权轮流排程 Weighted Round-Robin Scheduling (WRRS)
为此使用加权轮流排程算法，用相应的加权值表示服务器的处理性能，将请求数目按加权值的比例分配到各服务器。加权值高的服务器先收到连接，加权值高的服务器比加权值低的服务器处理更多的连接，相同权值的服务器处理相同数目的连接数。
最小连结数排程 Least-Connection Scheduling (LCS)
最小连结数排程是需要记录各个服务器已建立TCP连接的数目，把新的连接请求发送当前连接数最小的服务器。当各个服务器有相同的处理性能时，最小连结数排程能把负载变化大的请求平均分布到各个服务器上，所有处理时间比较长的请求不可能被发送到同一台服务器上。
加权最小连接数排程 Weighted Least-Connection Scheduling (WLCS)
但是当各个服务器的处理能力不同时，该算法并不理想，因为TCP连接处理请求后会进入TIME_WAIT状态，TCP的TIME_WAIT 一般为2分钟，此时连接还占用服务器的资源，所以会出现这样情形，性能高的服务器已处理所收到的连接，连接处于TIME_WAIT状态，而性能低的服务器既要忙于处理所收到的连接，还要收到新的连接请求。加权最小连接分配是最小连接分配的超集，各个服务器用相应的权值表示其处理性能。假设每台服务器的权值 为Wi(i=1..n)，TCP连接数目为 Ti(i=1..n)，依次选Ti/Wi为最小者的服务器为下一个分配到服务的服务器。
四种分配方法(Load-balancing Methods)
名称 描述
Round robin (RRS)：将工作平均的分配到服务器(用于实际服务主机性能一致)。
Least-connections (LCS)：向较少连接的服务器分配较多的工作(IPVS 表存储了所有的活动的连接，用于实际服务主机性能一致)。
Weighted round robin (WRRS)：向较大容量的服务器分配较多的工作，可以根据负载信息动态的向上或向下调整(用于实际服务主机性能不一致时)。
Weighted least-connections (WLC)：考虑它们的容量向较少连接的服务器分配较多的工作。容量通过用户指定的砝码来说明，可以根据装载信息动态的向上或向下调整(用于实际服务主机性能不一致时)。
最新版本：1.2
官方主页：http://www.linuxvirtualserver.org/