实时数据流异常事件检测技术研究

随着信息处理技术在通信、金融、工业生产等领域的广泛应用，数据已经不 仅仅拘泥于文件、数据表等传统形式。大量连续、变化的流式数据在越来越多 的现代应用中出现，例如军事指挥、交通控制、传感器数据处理、网络监控、金 融数据分析等。在这些应用中，数据以流的形式不断到达，系统需要对这些数据 进行连续、及时的处理。虽然现有的数据流应用已经收集了大量的流数据，但 是其中用户所关心的事件通常是那些异常事件，因为异常事件往往隐藏着更多 值得关注的信息。为了能够将单个数据流上的异常事件及时、准确的分发到复 合事件检测模块，具有QoS自适应能力的事件通知模型是一个理想的选择。复 合事件的产生，迎合了实际应用中的复杂需求，它通常是由原子事件通过逻辑 连接符和各种操作符连接组合而成。另外，为了能够及时的做出响应，预先定 义的动作应该被触发，例如：发出警报或在该异常事件发生地进行拍照，这就 要求检测系统具有一定的主动性。ECA规则作为“发现-响应”模型的基石，可 以满足上述主动性需求。目前大多数研究集中于对正常事件的离线挖掘与分析， 而对于实时数据流原子异常事件检测技术、具有QoS自适应的事件通知模型和 面向任意顺序数据流的复合事件检测技术研究则比较少，因此本文重点讨论上 述三个方面的内容。 首先，本文系统地分析了数据流应用的需求和特点，并提出一个面向实时 数据流的异常事件检测框架HAPS。HAPS共分为四层，分别为：数据流原子异 常事件检测层、QoS自适应的实时事件通知服务、复合事件检测层和动作执行 层。其次，本文对现有上述四个方面的研究工作进行了全面、详细的综述，分析 了现有研究的不足之处。然后针对上述四个方面的不足之处分别进行了深入的 研究，取得了部分创新性的研究成果。最后实现了框架的原型系统，并使用大 量仿真数据流和真实数据流进行了实验，实验结果表明在这四个方面的研究均 达到了预期的目标。 本文的主要创新点为： 1. 基于局部相关指数，提出一种增量式数据流异常事件检测算法（简称 为incLOCI），时间复杂度仅为O(NlogN)。证明了无论是事件的新增还是过时事件的删除都仅只影响其有限个近邻。 2. 提出了一个“近似”top-k实时事件通知模型，它使用事件内容与订阅 要求之间的相关程度作为匹配标准，在截止期内，自适应的选择“近 似”top-k相关数据。 3. 提出了一个面向任意顺序数据流的复合事件检测模型，该模型支持三种典 型的事件语境，同时还支持聚集函数，设计并实现了模型中使用的数据结 构和算法。 4. 实现了一个面向实时数据流的异常事件检测原型系统。它不仅可以检测实 时数据流中的原子异常事件，还能够通过QoS自适应实时事件通知服务将 原子事件分发到复合事件层，生成复合事件，最后利用RECA规则对异常 情况做出及时响应。 面向实时数据流的异常事件检测技术研究具有较高的应用价值和广阔的应 用前景。本文的研究成果为进一步探讨实时数据流上原子异常事件检测技术和 复合事件检测技术提供了良好的基础。