Splunk数据流处理器集成Apache Pulsar和Kafka

信息安全和事件管理供应商Splunk公司于周三发布了其数据流处理器（DSP）的更新，增强了事件流功能，以向Splunk平台引入更多数据进行分析。

DSP技术是该供应商的“将数据转化为一切”方法的基础组件。新版本DSP 1.1包括一系列改进，其中包括更好的集成以从Microsoft Office 365提取数据。

Pulsar与Kafka

此次DSP 更新还受益于Splunk公司于2019年10月对流数据供应商Streamlio公司的收购，后者是开源Apache Pulsar流数据项目的领导者。Pulsar通常被视为Apache Kafka的竞争对手，而现在Splunk数据流处理器集成了这两种技术以实现其事件流功能。

S&P全球市场情报研究总监Matt Aslett说：“从市场占有率和用户吸引力而言，Kafka肯定比Pulsar更具优势，但支持者认为Pulsar的解耦架构使其具有优于Kafka的性能优势，同时它还具有可靠的消息队列和多租户功能。与Kafka一样，除简单的消息传递外，Pulsar也在迅速发展。”

Splunk在流处理领域尚不成熟，但是该公司有雄心壮志，希望通过数据流处理器来推动其重要业务发展，而不仅仅是简单的集成和整个企业范围的数据交付，而更着重于交付自动化操作。

Pulsar事件流增强Splunk DSP

Splunk公司产品管理副总裁Josh Klahr说，Splunk一直在忙于集成Apache Pulsar作为事件流处理和数据收集的基础元素。

他说：“在某些用例中，与Kafka相比，Pulsar表现更好。对于有状态工作，Pulsar可提供更多的弹性。”

例如，Klahr表示，Pulsar非常适合执行大规模数据查找以及丰富数据流。他认为，当存在数据连接存在延迟问题可能会间歇性断线时，Pulsar通常也比Kafka更好。由于数据中断，Pulsar处理延迟的方法是通过将数据存储在节点，直到连接恢复。

Klahr说：“Pulsar确保通过网络传递所有消息。”

Splunk DSP 1.0已经集成对Kafka的支持，作为事件流数据技术。借助DSP 1.1，用户现在将获得Kafka和Pulsar的优势，而不必在二者之间做出选择。

Klahr说：“当用户创建数据管道时，对于后端发生的事情会被抽象化。用户不需要决定如何完成处理。”

Splunk数据流处理器1.1更新

除Apache Pulsar集成外，Klahr解释说Splunk推出新版本DSP的目标是使数据更易于访问。

在DSP 1.1中，现在可以更容易访问的数据源之一是Microsoft Office365。Splunk还有其他方法可从Microsoft Office 365获取数据，包括使用代理作为终端数据收集器。但是，该方法不允许对来自Office 365的数据作为事件流进行数据处理、富集或警报。

Splunk用户倾向于从Office 365中提取的数据类型包括Active Directory审核日志、服务状态信息以及来自管理API的对安全可见性有用的数据。

Klahr说：“现在，借助DSP 1.1，我们提供了一种更现代的方式来从Office 365中获取数据。”