Hortonworks通過Kafka集成增強對流數據的支持

Hortonworks Inc.今天在Hortonworks DataPlane Service中增加了對Apache Kafka的支持，從而強調了流媒體對其大數據客戶的重要性。

DPS大約一年前推出，是一種云產品，用于組合多個數據湖和其他數據存儲庫中的所有類型的數據。這樣做的目的是使公司更容易看到整個數據結構流入其Hortonworks環境。

DPS不僅僅是應用程序，更是一種框架。該公司一直在為諸如生命周期管理，數據分析開發和數據治理之類的功能添加插件，并表示該服務的普及是其近期取得良好業績的基礎之一。

新的Streams Messaging Manager被描述為一種開放源代碼的運行監視和管理工具，可在企業Kafka環境中提供端到端的可見性。它本質上是Kafka流的管理控制臺。“如果您正在運行多個流，那么這是一個控制面板，您可以在其中查看這些流的運行方式，” Hortonworks的首席技術官Scott Gnau(如圖)說。

他說，例如，管理工具可用于將Kafka流與Apache Atlas元數據管理和治理框架集成，以實現一致的數據元標記。這使Kafka數據與靜態數據混合在一起，這是分析中的一項有用功能。“我們要啟用邊緣設備，這將使幫助客戶更輕松地獲得有關其基礎架構的沿襲，” Gnau說。

Hortonworks表示，它正在解決流數據管理中最困難的方面之一，那就是了解流數據的來源和使用方式。Gnau說，應用Apache Atlas可以“在整個數據生命周期中保持一致的覆蓋范圍”。“元數據管理在過去還沒有做得很好，并且隨著來自設備的更多數據流流入，這種環境非常重要。”

Streams Messaging Manager還可以用于對Kafka環境進行故障排除，以識別瓶頸，生產者/消費者模式和流量。它使過濾器可用于分析生產者和消費者之間的流動態，并通過與Apache Atlas集成的數據流可視化為用戶提供跨多個Kafka運營，生產者和消費者的完整數據沿襲。

該公司還宣布了Hortonworks DataFlow 流分析平臺的定點發布，該 平臺可提高性能并提供與旗艦Hortonworks Data Platform更好的集成。該公司表示，其結果是一個單一的開源平臺，該平臺集成了從邊緣到分析的整個數據生命周期中的治理，安全性和管理。

Hortonworks對HDF的評價很高，他表示在第一財季完成的100萬美元以上交易中，有一半都包含在HDF中。除了性能和穩定性方面的改進外，新版本還提供了對多租戶環境的更精細控制，并支持Apache Hive 3.0。HDF和HDP實例之間的數據倉庫以及一致的操作，安全性和數據治理。