需求決定架構，對于運維來說也是一樣;因此，探討一個運維平臺應該怎么樣構建，要看具體的需求再決定。以下是小編為你整理的如何學大數據分析 ?

大數據的基礎服務，包括傳輸系統(Flume和Kafka)，計算調度(Yarn和K8S)以及存儲系統(HDFS和HBASE)。 ?

大數據平臺的配置與運維需求包括：配置管理與資產管理，可監控、可報警;可執行批量作業; 如果還有點期待就是Ai更好。 ?

自動化運維的架構，應該足夠簡單，開源可修改;解決非專業運維團隊的專業運維問題。投入產出比高，架構簡單，一個系統迭代容易打造精品。

其中配置管理應該具備多數據中心支持，動態管理的成員關系，基于gossip協議的事件傳輸。基于輕量型CMDB系統，解決傳統CMDB無法動態變更，自動發現，狀態探測問題。 ?

批量作業平臺，要解決運維中高頻的批處理任務，確保到達率很穩定，很可靠;盡量引入原生支持的組件，減少開發的工作量。 ?

DNS一直是基礎運維的核心，也是所有業務的重中之重。因此，自動化運維平臺要將DNS的服務器及客戶端納入統一的管理。 ?

智能對象設計 ?

Navicat提供一個直觀和設計完善的用戶界面，用于創建、修改和管理資料庫的所有對象，例如表、視圖、函數或過程、索引、觸發器和序列。我們的表設計器幫助用戶創建和修改數據庫的表，讓設置高級選項，如關系、限制、觸發器和更多。 ?

簡化數據編輯 ?

使用Navicat瀏覽和修改數據，插入、編輯、刪除數據或復制和粘貼記錄到數據表形式的數據編輯器，Navicat將運行相應的命令(例如 INSERT或UPDATE)，免除寫復雜的SQL。廣泛的數據編輯工具令編輯工作更為方便，例如外鍵查找、set/enum選擇器和記錄篩選。 ?

簡易SQL編輯 ?

可以創建、編輯、運行查詢和檢視結果，自動完成代碼功能不僅幫助用戶完成輸入查詢，也可以保證快捷地輸入無錯誤的代碼。查詢創建工具使用戶創建和編輯查詢而不需要有SQL的知識。SQL美化功能旨在提高工作效率，創建格式整齊的查詢，提高查詢的可讀性。 ?

?

無縫數據遷移 ?

Navicat具有廣泛的功能，配備了一套簡單、易于使用的用戶界面來管理和處理數據。數據同步：分析和遷移數據庫或模式之間的數據，這樣可以確保每個數據庫保存相同的信息。 ?

Plotly ?

這是一款數據可視化工具，可兼容JavaScript、MATLAB、Python以及R等語言。Plotly甚至能夠幫助不具備代碼編寫技能或者時間的用戶完成動態可視化處理。這款工具常由新一代數據科學家使用，因為其屬于一款業務開發平臺且能夠快速完成大規模數據的理解與分析。 ?

Rapidminer ?

作為另一款大數據處理必要工具，Rapidminer屬于一套開源數據科學平臺，且通過可視化編程機制發揮作用。其功能包括對模型進行修改、分析與創建，且能夠快速將結果整合至業務流程當中。Rapidminer目前備受矚目，且已經成為眾多*數據科學家心目中的可靠工具。 ?

Cassandra ?

Apache Cassandra 是另一款值得關注的工具，因為其能夠有效且高效地對大規模數據加以管理。它屬于一套可擴展NoSQL數據庫，能夠監控多座數據中心內的數據并已經在Netflix及eBay等*企業當中效力。 ?

Hadoop MapReduce> ?

這是一套軟件框架，允許用戶利用其編寫出以可靠方式并發處理大規模數據的應用。MapReduce應用主要負責完成兩項任務，即映射與規約，并由此提供多種數據處理結果。這款工具最初由谷歌公司開發完成。 ?

Mahout(數據挖掘算法庫) ?

Mahout起源于2008年，最初是Apache Lucent的子項目，它在極短的時間內取得了長足的發展，現在是Apache的頂級項目。 ?

Mahout的主要目標是創建一些可擴展的機器學習領域經典算法的實現，旨在幫助開發人員更加方便快捷地創建智能應用程序。 ?

Mahout現在已經包含了聚類、分類、推薦引擎(協同過濾)和頻繁集挖掘等廣泛使用的數據挖掘方法。 ?

除了算法，Mahout還包含數據的輸入/輸出工具、與其他存儲系統(如數據庫、MongoDB 或Cassandra)集成等數據挖掘支持架構。 ?

Oozie(工作流調度器) ?

Oozie是一個可擴展的工作體系，集成于Hadoop的堆棧，用于協調多個MapReduce作業的執行。它能夠管理一個復雜的系統，基于外部事件來執行，外部事件包括數據的定時和數據的出現。 ?

Oozie工作流是放置在控制依賴DAG(有向無環圖 Direct Acyclic Graph)中的一組動作(例如，Hadoop的Map/Reduce作業、Pig作業等)，其中指定了動作執行的順序。 ?

Oozie使用hPDL(一種XML流程定義語言)來描述這個圖。 ?