发布/订阅系统可伸缩性支持技术研究

在发布/订阅系统中，订阅者向系统注册其对某一个或某一类事件的兴趣，发布者将生成的事件发布到系统中，发布/订阅系统负责将事件与订阅进行匹配，并向对事件感兴趣的订阅者发出事件通知。发布者和订阅者在时间、空间和控制流上完全解耦合，能很好地满足大型分布式应用对松耦合交互的需求。发布/订阅系统在金融服务、新闻服务、物流等领域有着很大的实际应用价值。随着传感器技术的发展和普适应用的增长， 发布/订阅系统应用于传感器网络和 RFID应用等普适环境下的研究方兴未艾。在普适环境下，分布式大规模多种类事件给发布/订阅系统带来了更多的系统效率和可伸缩性问题。 来自传感器或RFID设备的原子事件数据被采集获取后即被发送到功能更为强大的代理服务器上处理。当传感器节点很多、传感数据规模很大时，大量收集到的数据容易造成网络拥塞以及某些代理服务器负载过重，从而成为性能瓶颈。因此，需要设计有效的代理部署算法，选取代理服务器的最佳位置，构建数据收集网络的拓扑结构，以高效地利用代理服务器的处理能力和网络带宽，提高数据的采集效率，从而支持发布/订阅系统更高效地处理大量事件和订阅。 在基于内容的发布/订阅系统中，基于内容的订阅是高度多样化的，不同的事件可能满足大量的感兴趣的订阅者。 系统中， 大规模的订阅信息和事件的到达，可能造成某些代理服务器负载过重，网络消息流量也过大，使得事件不能及时送达订阅者。因此，需要设计一个有效的消息路由策略，将发布者发布的事件消息高效地传递给订阅者，并且将事件匹配的责任分派到网络中不同的代理服务器上，使得网络中各代理服务器的负载分布相对均衡。 本文围绕发布/订阅系统的可伸缩性，对原子事件数据收集中的代理服务器部署问题，以及原子事件/订阅的路由问题展开研究。本文针对一般部署问题，即存在禁止部署区域的情形，提出了基于栅格化和爬山法的代理部署算法；对于无禁止区域的部署问题， 提出了更优的基于 Voronoi 图和Steiner 树的代理部署算法。本文实现了上述两个算法，实验表明，算法能获得在部署代价、通信开销和负载均衡度方面均较优的部署方案。在原子事件/订阅的路由上，本文提出了基于事件空间划分的渠道路由算法。算法将事件空间划分为多个事件渠道，每个事件渠道分配给单个代理服务器负责。代理服务器对到达的事件或订阅，根据其所属的渠道，决定转发或在本地处理。算法还通过实时监控代理服务器的负载，在负载较重时，分割渠道，在负载较轻时，合并渠道，从而达到动态负载均衡的效果。本文在OncePubSub系统上实现了上述算法，实验表明，算法能够有效地降低事件和订阅的传递开销，减小事件处理延迟，并能均衡代理服务器的负载。