P2P对等网络的技术原理简介
2020-11-04 15:14:48 阿炯

对等网络(peer-to-peer),一种网络技术和网络拓扑结构。流行的文件分享技术,常利用点对点技术。

什么是对等网络(P2P)技术?P2P技术属于覆盖层网络(Overlay Network)的范畴,是相对于客户机/服务器(C/S)模式来说的一种网络信息交换方式。在C/S模式中,数据的分发采用专门的服务器,多个客户端都从此服务器获取数据。这种模式的优点是:数据的一致性容易控制,系统也容易管理。但是此种模式的缺点是:因为服务器的个数只有一个(即便有多个也非常有限),系统容易出现单一失效点;单一服务器面对众多的客户端,由于CPU能力、内存大小、网络带宽的限制,可同时服务的客户端非常有限,可扩展性差。P2P技术正是为了解决这些问题而提出来的一种对等网络结构。在P2P网络中,每个节点既可以从其他节点得到服务,也可以向其他节点提供服务。这样庞大的终端资源被利用起来,也解决了C/S模式中的两个弊端。


文件分享有多个重要的问题,其中两个最重要,第一个问题是中央集中制还是分散制,第二个是用户的隐私权和匿名性。后者在著作权拥有者对一些文件分享用户起诉后成为了一个重要问题。第三个问题是使用所谓的“间谍软件”收集和出卖用户数据。

早年的客户端程序只接受一种协议,因此一个客户端程序要么只接受Napster要么只接受Gnutella。当时有一种在客户端创建一个使用多种协议的软件的运动。这个运动最主要的目的是一个用户没有必要使用不同的程序来做同一件事。有时有的人分享的文件非常受人欢迎,这样许多人会想从他那里获得这个文件,这有可能导致这个人的系统无法满足所有的需要。分散制是减轻这个问题的一个办法,尤其是假如有许多人在分享这个文件的话,那么这个文件可以从不同的地方来获取。分散制也被用来解决对中央集中制的威胁,这个威胁即可以来自法律控告,也可能来自敌对的用户。一个分散的网络无法被整个地攻击,攻击者只能对其个别成员进行攻击,而整个网络的剩余部分依然工作。

为了防止有人只收藏别人提供的文件而不肯分享它们,后来有的系统引入了交换和评分的功能。在这样的系统中,一个用户只在他能够期望获得报酬的情况下才分享。KaZaA使用一种非常简单的评分系统,客户端程序计算用户的优先权并告诉提供文件的一段该用户的优先权是多少。但这个系统被发明后不久就有人改变了客户端程序使得客户端用户总是拥有最高的优先权。

另一个使用评分系统的客户端程序是eMule。eMule的客户端程序适用多重来源文件传输协议,它监视用户向另一个用户下载或上传多少文件。有时这个评分系统似乎不影响下载的速度。假如用户有一个空闲的上传隧道的话,那么它接受对方,向对方上传8MB数据,然后将对方放到它的排队的最后。假如对方的评分为x2的话,那么对方比起评分为x1的用户只要等半数的时间就又排到了,用户再上传8MB数据。假如双方互相传送数据的话,那么它们相互之间的评分就会不断上升,传递的速度也提高。

BitTorrent协议也有非常好的评分系统。假如一个用户只下载而不上传的话,那么他的下载速度就非常低。


对等网络的基本结构

1、集中式对等网络(Napster、QQ)

集中式对等网络基于中央目录服务器,为网络中各节目提供目录查询服务,传输内容无需再经过中央服务器。这种网络,结构比较简单,中央服务器的负担大大降低。但由于仍存在中央节点,容易形成传输瓶颈,扩展性也比较差,不适合大型网络。但由于目录集中管理,对于小型网络的管理和控制上倒是一种可选择方案。

2、无结构分布式网络(Gnutella)

无结构分布式网络与集中式的最显著区别在于,它没有中央服务器,所有结点通过与相邻节点间的通信,接入整个网络。在无结构的网络中,节点采用一种查询包的机制来搜索需要的资源。具体的方式为,某节点将包含查询内容的查询包发送到与之相邻的节点,该查询包以扩散的方式在网络中蔓延,由于这样的方式如果不加节制,会造成消息泛滥,因此一般会设置一个适当的生存时间(TTL),在查询的过程中递减,当TTL值为0时,将不再继续发送。

这种无结构的方式,组织方式比较松散,节点的加入与离开比较自由,当查询热门内容时,很容易就能找到,但如果需求的内容比较冷门,较小的TTL不容易找到,而较大的TTL值又容易引起较大的查询流量,尤其当网络范围扩展到一定规模时,即使限制的TTL值较小,仍然会引起流量的剧增。但当网络中存在一些拥有丰富资源的所谓的类服务器节点时,可显著提高查询的效率。

3、结构化分布式网络(第三代P2P Pastry、Tapestry、Chord、CAN)

结构化分布式网络,是近几年基于分布式哈希表(Distributed Hash Table)技术的研究成果。它的基本思想是将网络中所有的资源整理成一张巨大的表,表内包含资源的关键字和所存放结点的地址,然后将这张表分割后分别存储到网络中的每一结点中去。当用户在网络中搜索相应的资源时,它将能发现存储与关键词对应的哈希表内容所存放的结点,在该结点中存储了包含所需资源的结点地址,然后发起搜索的结点根据这些地址信息,与对应结点连接并传输资源。这是一种技术上比较先进的对等网络,它具有高度结构化,高可扩展性,结点的加入与离开比较自由。这种方式适合比较大型的网络。

P2P网络有3种比较流行的组织结构,被应用在不同的P2P应用中。

1、DHT结构

分布式哈希表(DHT)[1]是一种功能强大的工具,它的提出引起了学术界一股研究DHT的热潮。虽然DHT具有各种各样的实现方式,但是具有共同的特征,即都是一个环行拓扑结构,在这个结构里每个节点具有一个唯一的节点标识(ID),节点ID是一个128位的哈希值。每个节点都在路由表里保存了其他前驱、后继节点的ID。如图1(a)所示。通过这些路由信息,可以方便地找到其他节点。这种结构多用于文件共享和作为底层结构用于流媒体传输。

2、树形结构

P2P网络树形结构如图1(b)所示。在这种结构中,所有的节点都被组织在一棵树中,树根只有子节点,树叶只有父节点,其他节点既有子节点也有父节点。信息的流向沿着树枝流动。最初的树形结构多用于P2P流媒体直播。

3、网状结构

网状结构如图1(c)所示,又叫无结构。顾名思义,这种结构中,所有的节点无规则地连在一起,没有稳定的关系,没有父子关系。网状结构为P2P提供了最大的容忍性、动态适应性,在流媒体直播和点播应用中取得了极大的成功。当网络变得很大时,常常会引入超级节点的概念,超级节点可以和任何一种以上结构结合起来组成新的结构,如KaZaA。


常用的协议

文件分享有许多不同的协议,以下列举的是最常用和最重要的。

Ares

Ares是一个类似Gnutella的很普及的网络,其标准(和最普及的)Ares Galaxy客户端于2005年3月是美国P2P客户端中第六常用的。大多数使用Ares的是想要接触尽量多的网络而没有找到更好的协议的人。

BitTorrent

BitTorrent协议是唯一广泛被用在公司分配系统中的文件分享协议,它的下载速度一般比较高,原因是每个“洪流”为每个文件或文件组存储着其用户的信息:相对于其它协议其协议本身比较小,缺点是它没有寻找功能。此外它不很灵活,另外精确地说它不完全是一个P2P协议。

2004年初有人发现BitTorrent比任何其它互联网文件分享协议所携带的信息都多。许多人相信这至今未变。

Direct Connect

Direct Connect是一种常用于小的网络和大学内部网络中的协议,它尤其适用于这些小网络环境中。DC++是其最常见的客户端程序。

eDonkey、Overnet和Kad Network

eDonkey2000和eMule是eDonkey网络最普及的P2P客户端程序。它被用来传送大量数据,其传送数目仅少于BitTorrent。它比BitTorrent最大的优点是其客户端程序有一个寻找引擎。用它用户可以找到许多文件,比起BitTorrent来它的传送速度较慢。

Overnet的设计目的是取代eDonkey,许多eDonkey用户端程序同时使用Overnet,Overnet没有中心服务器,但其用户数量现在少于eDonkey。

Kad网络很类似Overnet,几乎只有eDonkey的用户使用它,但它的普及性也很低。

FastTrack

FastTrack的第一个客户端程序是KaZaA,它的协议与Gnutella2很相似。从2002年到2003年它是最大的用户网,但2005年它退到了第三名。这个衰退的原因是因为这个网络无法对付众多用户同时使用,而且许多著作权拥有者在网上放入了许多垃圾文件来阻止受著作权保护的歌曲的交换。

KaZaA的用户端软件在用户电脑上设置一个间谍软件,法庭判决这个间谍软件违反了著作权,因此不得再继续使用和分发。iMesh也主要使用FastTrack为其协议,此外开放源代码的GiFT也可以用来连入FastTrack网络。

Gnutella和Gnutella2

当Napster陷入法律困境时,Nullsoft的贾斯廷·弗兰克尔发展了Gnutella,Gnutella是第一个真正的非中心的客户端。此后这个协议获得了很大的发展。Gnutella对文件分享有深刻的影响。Gnutella2本来是对Gnutella的一个改进和扩展,它的发展人是Shareaza的创始人迈克尔·斯多克斯。它提供了一个扩展的数据包格式、基于UDP的搜索算法和许多其它扩展比如数据包压缩等等。今天现代的Gnutella客户端程序都支持这些功能。

OpenNap(前身为Napster)
OpenNap是对原来的Napster客户端程序改变后来的,Napster客户端程序是第一个普及率高的P2P文件分享程序。今天依然有人在发展它,WinMX等程序使用它。


P2P技术应用

1、分布式科学计算

P2P技术可以使得众多终端的CPU资源联合起来,服务于一个共同的计算。这种计算一般是计算量巨大、数据极多、耗时很长的科学计算。在每次计算过程中,任务(包括逻辑与数据等)被划分成多个片,被分配到参与科学计算的P2P节点机器上。在不影响原有计算机使用的前提下,人们利用分散的CPU资源完成计算任务,并将结果返回给一个或多个服务器,将众多结果进行整合,以得到最终结果。

2、文件共享

BitTorrent是一种无结构的网络协议。除了BitTorrent之外,还有不少著名的无结构化的P2P文件共享协议,典型的有Gnutella和KaZaA。

3、流媒体直播


4、流媒体点播


5、IP层语音通信

Skype采取类似KaZaA的拓扑结构,在网络中选取一些超级节点。在通信双方直连效果不好时,一些合适的超级节点则担当起其中转节点的角色,为通信双方创建中转连接,并转发相应的语音通信包。

 
典型P2P应用的机制分析

BitTorrent

BitTorrent软件用户首先从Web服务器上获得下载文件的种子文件,种子文件中包含下载文件名及数据部分的哈希值,还包含一个或者多个的索引(Tracker)服务器地址。它的工作过程如下:客户端向索引服务器发一个超文本传输协议(HTTP)的GET请求,并把它自己的私有信息和下载文件的哈希值放在GET的参数中;索引服务器根据请求的哈希值查找内部的数据字典,随机地返回正在下载该文件的一组节点,客户端连接这些节点,下载需要的文件片段。因此可以将索引服务器的文件下载过程简单地分成两个部分:与索引服务器通信的HTTP,与其他客户端通信并传输数据的协议,我们称为BitTorrent对等协议。BitTorrent软件的工作原理如图 4所示。BitTorrent协议也处在不断变化中,可以通过数据报协议(UDP)和DHT的方法获得可用的传输节点信息,而不是仅仅通过原有的 HTTP,这种方法使得BitTorrent应用更加灵活,提高BitTorrent用户的下载体验。


eMule

eMule软件基于eDonkey协议改进后的协议,同时兼容eDonkey协议。每个eMule客户端都预先设置好了一个服务器列表和一个本地共享文件列表,客户端通过TCP连接到eMule服务器进行登录,得到想要的文件的信息以及可用的客户端的信息。一个客户端可以从多个其他的EMule客户端下载同一个文件,并从不同的客户端取得不同的数据片段。eMule同时扩展了eDonkey的能力,允许客户端之间互相交换关于服务器、其他客户端和文件的信息。eMule服务器不保存任何文件,它只是文件位置信息的中心索引。eMule客户端一启动就会自动使用传输控制协议(TCP)连接到eMule服务器上。服务器给客户端提供一个客户端标识(ID),它仅在客户端服务器连接的生命周期内有效。连接建立后,客户端把其共享的文件列表发送给服务器。服务器将这个列表保存在内部数据库内。eMule客户端也会发送请求下载列表。连接建立以后,eMule服务器给客户端返回一个列表,包括哪些客户端可以提供请求文件的下载。然后客户端再和它们主动建立连接下载文件。图5所示为eMule的工作原理。


eMule基本原理与BitTorrent类似,客户端通过索引服务器获得文件下载信息。eMule同时允许客户端之间传递服务器信息,BitTorrent只能通过索引服务器或者DHT获得。eMule共享的是整个文件目录,而BitTorrent只共享下载任务,这使得 BitTorrent更适合分发热门文件,eMule倾向于一般热门文件的下载。


迅雷

迅雷是一款新型的基于多资源多线程技术的下载软件,迅雷拥有比目前用户常用的下载软件快7~10倍的下载速度。迅雷的技术主要分成两个部分,一部分是对现有Internet下载资源的搜索和整合,将现有Internet上的下载资源进行校验,将相同校验值的统一资源定位(URL)信息进行聚合。当用户点击某个下载连接时,迅雷服务器按照一定的策略返回该URL信息所在聚合的子集,并将该用户的信息返回给迅雷服务器。另一部分是迅雷客户端通过多资源多线程下载所需要的文件,提高下载速率。迅雷高速稳定下载的根本原因在于同时整合多个稳定服务器的资源实现多资源多线程的数据传输。多资源多线程技术使得迅雷在不降低用户体验的前提下,对服务器资源进行均衡,有效降低了服务器负载。

每个用户在网上下载的文件都会在迅雷的服务器中进行数据记录,如有其他用户再下载同样的文件,迅雷的服务器会在它的数据库中搜索曾经下载过这些文件的用户,服务器再连接这些用户,通过用户已下载文件中的记录进行判断,如用户下载文件中仍存在此文件(文件如改名或改变保存位置则无效),用户将在不知不觉中扮演下载中间服务角色,上传文件。


PPLive

PPLive软件的工作机制和BitTorrent十分类似,PPLive将视频文件分成大小相等的片段,第三方提供播放的视频源,用户启矾PPLive 以后,从PPLive服务器获得频道的列表,用户点击感兴趣的频道,然后从其他节点获得数据文件,使用流媒体实时传输协议(RTP)和实时传输控制协议 (RTCP)进行数据的传输和控制。将数据下载到本地主机后,开放本地端口作为视频服务器,PPLive的客户端播放器连接此端口,任何同一个局域网内的用户都可以通过连接这个地址收看到点播的节目。图6所示为PPLive的工作原理示意图。


Skype

Skype是网络语音沟通工具。它可以提供免费高清晰的语音对话,也可以用来拨打国内国际长途,还具备即时通讯所需的其他功能,比如文件传输、文字聊天等。Skype是在KaZaA的基础上开发的,就像KaZaA一样,Skype本身也是基于覆盖层的P2P网络,在它里面有两种类型的节点:普通节点和超级节点。普通节点是能传输语音和消息的一个功能实体;超级节点则类似于普通节点的网络网关,所有的普通节点必须与超级节点连接,并向Skype的登陆服务器注册它自己来加入Skype网络。Skype的登陆服务器上存有用户名和密码,并且授权特定的用户加入Skype网络,图7所示为Skype的体系结构。


Skype的另一个突出特点就是能够穿越地址转换设备和防火墙,它能够在最小传输带宽32 kb/s的网络上提供高质量的语音。Skype是使用P2P语音服务的代表,由于其具有超清晰语音质量、极强的穿透防火墙能力、免费多方通话以及高保密性等优点,成为互联网上使用最多的P2P应用之一。