LinkedIn大規模開源測試儀用于Hadoop性能測試

LinkedIn今天發布了一個 名為Dynamometer的開源項目 ，幫助企業在不使用大量基礎設施的情況下對大規模Hadoop大數據處理系統進行壓力測試。

該工具旨在防止企業社交網絡在2015年初遇到的問題，該公司在其Hadoop分布式文件系統(HDFS)群集中添加了500臺計算機以試圖提高性能。相反，團隊遇到了一個只能大規模出現并導致針對群集的工作超時的錯誤。

測力計以用于測試汽車的工具命名，模擬大規模集群，同時僅需要大約5%%的實際底層基礎設施。這有助于開發人員解決大規模測試軟件的一個關鍵問題：實際上，即使在公共云環境中，配置所有機器也可能成本很高。

相反，客戶可以使用測功機測試他們在生產中看到的相同類型的工作負載，并確保系統能夠經得起軟件更改。LinkedIn使用該工具分析公司HDFS集群從Hadoop 2.3到2.6的遷移，這一變化需要調整集群的某些參數以避免性能問題。

Dynamometer的首席工程師Erik Krogen在一封電子郵件中告訴VentureBeat，該工具既適用于大規模Hadoop公司(如LinkedIn)，也適用于提議更改HDFS開源項目的小型商店，并希望確保它們不會影響大規模的性能。

從長遠來看，Krogen希望測功機將成為HDFS發布測試的一部分，以及在發布之間定期持續集成新的代碼更改。這就是LinkedIn將其作為開源項目向公眾發布的原因。該公司已經使用Dynamometer來幫助發布Hadoop 2.7.4，這使它能夠驗證維護版本不會對性能產生負面影響。