Lyft開源Flyte工具用于管理機器學習工作流程

乘車共享公司Lyft Inc.今天表示已為人工智能數據開源了一種新的調試工具，其價格，位置，預計到達時間，地圖繪制和自動駕駛開發人員團隊在過去三個月一直在內部使用該工具年份。

Lyft將Flyte描述為“用于并行，可伸縮和可維護的機器學習工作流的結構化分布式平臺”。

Lyft工程師Allyson Gale和Ketan Umare在Medium上的博客中寫道：“由于數據現在已成為公司的主要資產，執行大規模計算工作對業務至關重要，但從運營角度來看是有問題的。” 擴展，監視和管理計算集群成為每個產品團隊的負擔，減慢了迭代速度，進而減慢了產品創新的速度。此外，這些工作流程通常具有復雜的數據依賴性。Flyte的任務是通過抽象這些開銷來提高機器學習和數據處理的開發速度。”

Gale和Umare解釋說Flyte是一項“多租戶”服務，這意味著團隊可以在單獨的數據存儲庫上工作并使用它們，而不會影響平臺的其余部分。對軟件代碼進行版本化和對其依賴項進行容器化，以確保所有執行仍可重現。開發人員可以調用不同的參數或AI模型內部的變量，以定義其與特定問題有關的技能。Flyte還可以使用先前模型執行中的緩存輸出來節省時間和內存。

Flyte還可以將任務鏈接在一起，并通過基于Python的領域特定的編程語言在其中傳遞數據。此外，由于Flyte中的每個實體都是不可變的，每次更改都被捕獲為新版本，因此可以快速迭代或回滾工作流，并在工作流之間共享版本化任務。

該公司表示：“ Flyte的構建是為了以現代產品，公司和應用程序所需的規模來推動并加速機器學習和數據編排。” “ Lyft和Flyte共同成長，看到了現代處理平臺所提供的巨大優勢，我們希望在開源Flyte中也能從中受益。”

Constellation Research Inc.分析師Holger Mueller表示，Flyte看起來是一種有用且久經考驗的機器學習管理工具，由于它跨越多個基礎計算框架，因此對某些公司應該具有吸引力。

穆勒說：“在進一步考慮之前，高管必須先驗證Flyte擁有的組件是他們想要構建下一代應用程序的組件。” “如果合適的話，值得進行詳細評估。”