Streamlio將實時數據流處理添加到ApachePulsar

初創公司Streamlio Inc. 今天宣布對Apache Pulsar發布和訂閱消息傳遞平臺進行重大更新，該平臺將成為知名的Apache Kafka項目的主要競爭對手。

諸如Apache Pulsar之類的發布和訂閱消息傳遞系統旨在為軟件應用程序相互通信提供一種高度可擴展的方式。

Pulsar最初由該公司的前工程師Matteo Merli和Joe Francis在Yahoo Inc.上開發，并于2016年捐贈給開源社區。Merli和Francis當時解釋說Pulsar的開發是為了滿足幾種Yahoo應用程序的要求，他們找不到任何現有的解決方案。

他們寫道：“這些應用程序提供實時服務，平均發布等待時間為5毫秒，在第99個百分位數時不超過15毫秒。” “在開始時，我們找不到任何現有的開源消息傳遞解決方案可以提供Yahoo所需的規模，性能和功能，而Yahoo則需要將消息傳遞作為托管服務來支持一百萬個主題。”

Merli隨后離開Yahoo成立了初創公司Streamlio，旨在將Apache Pulsar商業化，并于9月推出了包含消息傳遞系統的實時分析套件。Streamlio的系統還合并了Heron和Apache BookKeeper等開源項目，它們共同創建了“針對流和存儲進行了優化的企業級消息傳遞解決方案”。

現在，Apache Pulsar社區正在使用新的分析功能和增強功能對Pulsar進行更新，以增強其性能，可擴展性和耐用性。

標題是稱為Pulsar Functions的新功能，它為Pulsar增加了流本機處理功能。它為開發人員提供了一種簡單的方法，可以在數據流經Pulsar時直接將轉換和分析直接應用于數據，而無需外部系統或附加組件。

Merli在接受SilconANGLE的采訪時說，該公司已經看到許多案例，這些案例可能會有利于盡快對數據進行處理，而不是等待它通過提取，事務處理和加載管道或通過數據湖或數據倉庫，這通常是分析的情況。通過增加Pulsar功能，Streamlio現在將Pulsar定位為一種“流消息系統”，該系統有助于將各種數據與用戶和應用程序實時連接。

Merli說：“對于組織而言，大多數選擇過于復雜和繁重，需要專門的編程技能，例如功能編程，并且需要部署和維護其他基礎設施服務。” “我們發現像Pulsar Functions這樣的流本地處理功能可以解決大多數用例，而不會給開發人員增加新的復雜性，也不會增加運營團隊的管理負擔。”

Pulsar 2.0中的其他新功能包括有助于簡化數據驅動型應用程序開發的新架構注冊表，以及稱為Topic Compaction的新增強功能，該功能有助于提高使用Pulsar數據的應用程序的性能。

Merli說：“ Pulsar的優勢使其成為需要將流數據源帶入數據和分析管道的數據驅動型應用程序的絕佳解決方案。” “其中包括物聯網和工業物聯網分析，安全性，欺詐檢測，系統監控和在線服務。”