Databricks平臺更新可加快AI和機器學習工作量

大數據分析公司Databricks Inc.加強了對人工智能工作負載的關注，今天宣布對其Unified Analytics Platform進行重大更新，該更新應有助于解鎖為這些工作負載提供動力并簡化機器學習流程所需的孤立數據。

Databricks表示，它已經發現了一些導致組織無法成功利用AI技術進行創新的主要問題。

Databricks聯合創始人兼首席執行官Ali Ghodsi(如圖)在接受SiliconANGLE采訪時說：“我們正處于機器學習革命的風口浪尖，并且看到越來越多的公司開始進行項目。” 他說，結果是，他們需要工具來簡化大規模的機器學習，而不必雇用非常稀少和昂貴的數據科學家。

Ghodsi說，問題在于企業被迫使用大量未連接的工具來實現這一目標。但是，不同的工具會同時造成組織和技術孤島，從而導致摩擦，從而減慢了AI項目的進度。

Enterprise Strategy Group Inc.高級分析師Mike Leone說：“組織被告知要利用AI，機器學習和深度學習，但是目前該領域的復雜性從未如此高。”為滿足每個特定用例的通用工具包和框架，對簡化現有功能的需求不斷增長。對于那些剛剛開始采用或在采用過程中處于早期階段的組織而言，這尤其重要。”

該公司表示，訓練機器學習算法的主要問題之一是開發過程仍然是臨時的，幾乎沒有可用的工具來再現結果，跟蹤實驗和管理模型。為了解決這個問題，Databricks引入了一個新的機器學習工具包，稱為“ MLflow”，該工具包旨在幫助公司更好地打包機器學習代碼，執行和測試它，并最終將其部署到生產中。

Databricks首席技術專家Matei Zaharia說：“沒有用于機器學習的工具包，這迫使組織將關鍵解決方案拼湊在一起，并確保高度專業化的技能來實現AI。” “ MLflow是一個統一的工具包，用于以可重復的方式開發機器學習應用程序，同時可以靈活地跨多個云環境可靠地在生產中進行部署。”

Ghodsi說，Zaharia過去一年一直在開發的工具包已經引起了大型企業的興趣。“我們希望MLflow將成為機器學習的標準語言”。

Leone表示：“有了MLflow，組織將能夠從頭到尾管理ML生命周期，包括通過不言而喻地標準化現有工具包/框架(跨首選部署選項)到模型的生產和部署到生產中。” 。“與處理互操作性問題相反，您將能夠直接進入ML測試階段。”

Databricks已經確定的第二個問題與深度學習有關，深度學習是用于訓練應用程序(例如自然語言處理，圖像分類和對象檢測)的AI的子集。但是，將這些模型改進到可以使用的唯一方法是為它們提供越來越多的數據，這需要花費大量時間。Databricks表示，企業已使用Tensorflow，Keras和Horovod等各種深度學習框架來幫助加快速度，但發現自己笨拙得多，難以應付。

為了幫助組織更好地處理此問題，Databricks推出了一項名為“ ML的運行時”的新功能，該功能提供了與這些流行框架集成的用于深度學習的預配置環境。該公司還增加了對Amazon Web Services和Microsoft Azure云上的圖形處理單元芯片的支持，使數據科學家能夠在單個統一引擎上訓練，評估和部署其深度學習模型。

Leone說：“ ML的運行時將有助于跟蹤和重現實驗，從而加快模型構建的速度。” “對于部署，MLflow將使組織能夠以所需的方式輕松地部署ML模型(無論是本地部署還是跨云部署)，并在部署后提供集成和監視。這不僅可以解決組織在將ML模型移入生產環境而且要維護它們時面臨的困難。”

Ghodsi還強調了Databricks的 Delta數據倉庫的功能，該數據倉庫可用于清理和準備數據，從而可以用于訓練AI模型。例如，蘋果公司已將其用于所有內部威脅和異常檢測，每周收集近PB的新數據。Ghodsi表示，他認為Delta將是六年多來最大的技術進步，它是實現更快的機器學習和深度學習的最大技術進步，它將在本月底全面上市。

與SiliconANGLE隸屬于同一公司的Wikibon分析師James Kobielus表示，這些更新意味著Databricks現在是極少數可以幫助開發人員從準備到建模一直從事機器學習，深度學習和其他人工智能項目的公司之一以及在復雜的混合云中進行操作培訓。他還稱贊了新功能為開發人員提供的敏捷性。

Kobielus說：“開發人員可以在Databricks環境中使用他們選擇的領先建模框架，從而使他們能夠有效地擴展具有事務完整性的數據工程。” “他們可以并行執行和比較數百個并行AI建模/培訓'實驗'，并利用此管道中的任何硬件或軟件平臺。他們可以將訓練有素的模型部署到各種生產服務器平臺和云。通過這些公告，Databricks滿足了當今開發人員對簡單，健壯和工業級管道的需求，以支持最苛刻的AI項目。”

最新版本的Databricks的Unified Analytics Platform提供了這些新功能。

Databricks在八月份籌集了1.4億美元的后期階段資金，最近一直很忙。3月，該公司將其旗艦分析平臺作為Azure中的一項集成服務(稱為 Microsoft Azure Databricks)提供， 以幫助客戶更好地處理在那里存儲的大量數據。