Google通過新的云功能加速客戶數據處理

Google正在通過即將推出的名為Cloud Dataflow Shuffle的功能，讓云客戶更快地處理數據以進行分析。它的設計目的是通過應用技術巨頭內部開發的技術，使消費流和批量處理數據的速度比以前快5倍。

該功能專為Google的Cloud Dataflow服務而構建，該服務可幫助客戶在將數據輸入數據庫，機器學習應用程序和其他系統之前對其進行處理。客戶使用Apache Beam SDK編寫的管道在Cloud Dataflow中設置處理任務，然后Google處理處理這些任務所需的計算資源的配置和擴展。

Cloud Dataflow Shuffle通過使用Google制造的系統來管理隨機操作，從而對來自多個計算節點的數據進行排序，從而加速了這些管道。當這個推出時，客戶將獲得免費的優惠。所有這一切都是可能的，因為Google管理Cloud Dataflow服務，并且能夠在必要和可能的時候交換新功能和組件。

該功能還可以幫助吸引和留住可能選擇在其他地方運行Beam管道的客戶。在Google創建SDK的同時，用戶也可以在其他位置運行的Apache Flink，Spark，Apex和Gearpump集群上部署管道。

根據Google云平臺團隊的產品經理William Vambenepe的說法，Cloud Dataflow Shuffle的價值取決于Beam管道依賴于shuffle操作的程度。

“你的管道幾乎沒有任何洗牌，”他說。“如果不洗牌，只會有很多洗牌加速器。”

然而，他說，許多運行時間最長的管道需要大量使用隨機操作。在這些情況下的客戶將獲得免費的速度提升。

谷歌知道一些關于洗牌操作的事情。該公司的工程師曾經在新建的谷歌數據中心內的服務器上運行了50PB(1PB即1,000TB)的洗牌，然后才上線進行測試。