大數據分析市場將迎來更多動蕩

大數據分析一直是本十年的主要技術趨勢之一，也是信息技術市場上最具活力和創新性的部分之一。但是，如今的大數據分析市場與幾年前的行業已經大不相同，而且幾乎可以肯定，幾年后會有很大的不同。

在2018年，我們看到許多明顯的跡象表明，在本十年開始之初迅速崛起的大數據市場正開始以一種截然不同的形式重新結晶。在未來幾年中，這個市場可能甚至不會被稱為“大數據”。這是因為它的大部分發展都朝著人工智能發展，盡管其核心是數據驅動的，但不一定要依賴大量數據才能在許多應用中有效。

隨著Wikibon展望2019年，我們預見了大數據分析中的以下主要趨勢：

公共云提供商正在吸收大多數新的大數據分析增長機會

企業正在將更多的大數據分析工作負載移至公共云，并為這些環境開發更多的全新應用程序。

在2019年，三個主要的公共云提供商-Amazon Web Services Inc.，Microsoft Azure和Google Cloud Platform-將加緊努力，以幫助企業帳戶將其數據湖從本地平臺遷移到其他地方。

其他公共云提供商將努力保持其大數據分析市場份額。在2018年，來自公共云領導者的挑戰迫使IBM公司收購RedHat Inc.。 展望未來，IBM，Oracle Corp.和其他公共云提供商將強調混合云解決方案，以幫助客戶集中管理私有云之間分布的大數據資產。和公共云。

此外，更多的大數據公共云提供商-將基礎架構即服務和平臺即服務細分授予AWS，Microsoft Corp.和Google LLC-將轉向提供高級軟件即服務。服務分析應用程序，以獲取業務線和特定于行業的機會。例如，雪花云計算公司(Snowflake Computing Inc.)在云數據倉庫市場上取得了顯著成就， 在2018年獲得了4.5億美元的融資以維持其增長軌跡。

大數據分析生態系統正在深入云原生

Kubernetes是一種流行的開源軟件，用于管理需要在云和本地數據中心之間輕松移動的應用程序的軟件容器，它是新一代云原生大數據的基礎。過去一年中，該市場中最值得注意的趨勢是Kubernetes周圍的數據生態系統的重新結晶。

云原生大數據架構的發展推動了2018年的大量融資和兼并與收購活動。這解釋了為何Pivotal現在專注于在多個云中分布式存儲數據，并 在首次公開發行中獲得了5.55億美元的收入庫存。Talend收購Stitch的背后是需要用于將數據加載到云數據倉庫中的更簡單工具的需求。隨著企業對可伸縮的基于云的文件和對象存儲的需求不斷增長，這也是Cloudian購買Infinity Storage的重要原因 。

在2019年，我們預計開放混合架構計劃將實現其計劃，以對HDFS，MapReduce，HBase，Hive，Pig，YARN和其他主要Hadoop組件進行模塊化和容器化。我們還預測，主要贊助商-即將成為Cloudera Inc.的一部分的Hortonworks Inc.和IBM / Red Hat-將在2019年初提供將這種架構納入其各自的混合云解決方案產品組合的下一代商業Hadoop平臺，其他云解決方案提供商將在全年中保持領先地位。

Spark，TensorFlow，流，分布式對象存儲和塊存儲等領域的類似容器化計劃將在2019年占據一席之地，因為整個大數據堆棧將解耦，以便在基于Kubernetes的DevOps環境中進行更敏捷的部署和管理。

每個大數據分析平臺提供商都在數據科學工具鏈上進行大量投資

大數據分析解決方案提供商正在為贏得從事AI項目的新一代開發人員的心血而戰。在過去的幾年中，新一代的數據科學工作臺已經投放市場，其中包括Anaconda，Dataiku，DataKitchen，DataRobot，Dimensional Mechanics，Domino Data Lab，H2O.ai，Hydrosphere.io，Kogentix，Pipeline.ai和Seldon。此外，IBM，Oracle，Cloudera，Alteryx等成熟的大數據分析供應商以及所有三個主要的公共云供應商也都進入了這一領域。

2018年的DataRobot，Tarr和Immuta風險投資融資輪次表明，在過去幾年中，似乎有數十家初創公司扎根于該數據科學工作臺領域。在2018年，Wikibon遇到了越來越多的中國和遠東地區的人。

在2019年，更多公司將強調其產品能夠自動執行諸如功能工程，超參數優化和數據標記之類的傳統手動任務。大數據分析解決方案提供商將大量投資于工具，以加速將經過訓練的AI模型部署到生產應用程序中。隨著大數據分析生態系統向云原生架構的轉變，更多的數據科學工作臺將具有通過Kubernetes編排結構自動化任務的能力，并能夠將模型容器化以部署到公共云和私有云中。這種趨勢將把新興的標準(例如Kubeflow)帶入迅速發展的數據科學DevOps工具鏈生態系統。

Hadoop和Spark成為舊技術

在過去的幾年中，Hadoop在大數據分析領域的作用逐漸消失。Hadoop市場增長前景趨于平緩是Cloudera和Hortonworks達成2018年合并協議的主要因素 。

Hadoop越來越多地將其核心用例縮小到用于非結構化數據的分布式文件系統，用于批處理數據轉換的平臺，大數據治理存儲庫和可查詢的大數據歸檔。

在2019年，Hadoop將努力將其應用范圍擴展到在線分析處理，商業智能，數據倉庫和其他開源項目可以解決的其他領域。到今年年底，Hadoop將開始在許多企業大數據環境中逐步淘汰，甚至以其核心數據湖角色開始支持分布式對象存儲，流計算平臺和可大規模擴展的內存集群。

甚至在本世紀中葉作為Hadoop替代品而開發的Apache Spark，在許多以TensorFlow為中心的AI商店中也越來越感覺像是一項遺留技術。從數據提取/轉換/負載利基可以看出這一趨勢，Spark越來越多地部署到該位置，隨著讀取模式架構的發展，這種重要性可能會下降。

大數據目錄已成為數據管理DevOps的核心

用戶快速搜索，發現，整理和管理數據資產的能力現在是數字業務成功的基礎。在這方面，Looker Data Sciences Inc.獲得了1億美元的E輪融資，以應對大數據編目，治理，準備和可視化解決方案市場。

在2019年，我們預計將看到更多企業將其數據湖重新定位到應用程序基礎架構中的大數據目錄中，這些應用程序基礎架構可提高知識工作者的生產力，支持正在構建和培訓生產AI應用程序的新一代開發人員，并促進算法透明性和e -發現。

我們還期望IBM，Cloudera / Hortonworks，Informatica，Collibra等供應商加深其現有大數據目錄平臺的能力，以管理更多元數據，模型，圖像，容器和其他工件，這些都是AI DevOps的命脈工作流程。借助新一代虛擬化工具，這些虛擬化工具將在單個云中提供更多的大數據目錄，這些虛擬化工具將提供一個用于管理公共云和私有云中不同數據資產的控制面板。并且我們預測主要的公共云提供商-AWS，Microsoft和Google-將為選擇在混合公共/私有云中部署這些服務的客戶推出自己的大數據目錄。

數據湖正在向云對象存儲和流計算發展

在2018年，AWS S3和Microsoft Azure Data Lake Storage等云對象存儲平臺繼續取代企業數據湖中的Hadoop。我們還看到，風險投資家優先考慮為多云數據訪問，查詢和可視化解決方案的既有提供商提供資金(例如Dremio，2500萬美元的B輪融資);軟件定義的多云存儲(例如Scality，6000萬美元E系列)和云對象存儲(例如Cloudian，9400萬美元E系列)。

展望未來，這種趨勢將繼續下去，但是在未來三到五年內，流計算骨干將使這一趨勢黯然失色。與1970年代以來的關系數據架構一樣，諸如Kafka，Flink和Spark Structured Streaming之類的低延遲流媒體平臺對于企業數據基礎結構也變得越來越重要。

商業智能將所有AI和所有內容都存儲

人工智能正在由內而外地重塑商業智能市場。在過去的幾年中，BI的核心趨勢之一是該技術對歷史分析的傳統關注與新一代注入AI的預測分析，搜索和預測工具的融合，該工具使任何業務用戶都可以做很多事需要訓練有素的數據科學家。

在2019年，更多的BI供應商將集成大量AI，以自動從復雜數據中提取預測見解，同時在解決方案中提供這些復雜功能，以提供自助服務簡便性和指導性的最佳行動方案。我們在2018年看到了這一趨勢的指標，初創公司ThoughtSpot Inc. 為其創新的AI增強業務分析解決方案組合獲得了1.45億美元的D輪融資。

關于AI在大數據分析市場的幾乎每個細分市場中日益重要的作用，請考慮我們在2018年看到的以下資金故事：

風險資本家向AI初創公司提供了驚人的資金，僅對的公司來說，就有望達到1000億美元，其中很大一部分資金都來自創新型AI硬件加速提供商。

過去一年中，許多最大的種子輪融資都是針對成熟的AI解決方案提供商的，包括AI自動化工作臺初創公司DataRobot Inc.(獲得1億美元的D輪融資)，自動化數據準備公司Tamr Inc.(獲得1800萬美元的D輪融資)和AI DevOps數據隱私控制公司Immuta Inc.進行了2000萬美元的B輪融資。

企業對強大的AI驅動搜索技術的需求永不滿足，他們希望通過不斷增長的日志數據進行篩選，這解釋了為什么Elasticsearch BV能夠通過其IPO籌集2.52億美元。

持續的行業向AI和業務分析中自助數據準備的轉變說明了Infogix Inc.為何 收購LavaStorm Analytics Inc.。

用于構建自主AI驅動系統的強化學習工具的新興市場是促使微軟收購Bonsai AI Inc的一個因素。

越來越多的企業部署分布式內存云數據庫以支持復雜的實時AI管道，這推動了MariaDB Corp. Ab對Clustrix Inc.的收購。

大數據分析的另一個主要趨勢是內存架構。這解釋了為什么在2018年，MemSQL Inc.在D輪融資中獲得3000萬美元的內存中事務分析功能，而InfluxData Inc.在C輪融資中獲得3500萬美元，用于使用時序數據庫進行實時性能監控的原因，憑借其已建立的內存中混合交易/分析平臺，Actian Corp.被股權公司HCL收購。

邊緣計算從根本上改變了數據庫架構

我們知道，正在對數據庫進行解構和重組，以進行面向邊緣的部署。

大數據分析市場的許多發展都朝著面向邊緣，流傳輸，移動數據的架構發展，這些架構不一定依賴于龐大的存儲架構。這就解釋了為什么我們在2018年看到了可觀的融資輪次，用于可擴展的機器數據存儲，處理和分析(CrateDB，1100萬美元A輪)以及流數據管道集成，監視和管理(StreamSets，2400萬美元的C輪)。

在2019年，企業將部署流媒體平臺來驅動低延遲的DevOps管道，以經過培訓的，最適合的機器學習模型持續為移動，物聯網，機器人技術和其他邊緣應用注入注入動力。在線事務分析處理，數據轉換和數據治理工作負載也越來越多地轉向低延遲，有狀態的流式骨干網。

在未來的幾年中，具有破壞性的新數據平臺將結合網格，流，內存和區塊鏈功能進入市場。這些新的分布式數據平臺中的許多將針對需要低延遲，可擴展和自動化的數據攝取，建模，培訓以及為邊緣設備提供服務的連續AI DevOps管道進行優化。這些分析流水線功能的無服務器接口將成為標準配置，并以有狀態的流結構為補充，這些流結構將在新興的5G寬帶無線網絡上的邊緣設備中支持在線推薦引擎，次佳行動和其他事務性工作負載。

你的想法?

這些是Wikibon的年終回顧和大數據分析的前瞻性。我想聽聽我的讀者認為這將是這個市場未來的主要趨勢。