MapReduce的厲害之處在于高效完整地處理大數據。這是只有MapReduce架構才能完成的事情!等待讓我們荒老，但是速度讓我們更有價值!本節介紹的是Hadoop中利器之一MapReduce的工作機制，我們正在進入大數據計算的核心區域。以下是小編為你整理的大數據應該怎么學習 ?
MapReduce工作機制 ?
MapReduce的主體是兩個函數Map()和Reduce()，Map負責清洗數據，Reduce負責數據分析并輸出最終結果，而且這兩個功能之間并非一對一的關系，可以根據具體業務選擇匹配關系。 ?
Map函數 ?
輸入：鍵值關系的數據隊列，鍵是每段內容開頭的偏移量。 ?
處理：從輸入中抽取出自定義的關鍵字段。這個處理過程可以很簡單，也可以很復雜。 ?
輸出：鍵值關系的數據隊列，通常是保存在硬盤上，而不是HDFS中。因為這個數據集只是個中間過程，計算結束時需要被刪除。
Reduce函數 ?
輸入：Map的輸出結果經過MapReduce框架處理之后分發給Reduce函數，因為通常一個Reduce函數需要拿到完整的數據集之后才能開始分析。 ?
處理：這一步的分析處理將是最為艱難和富有價值的環節。根據不同業務指標定義處理函數。 ?
輸出：輸出自定義的格式文件，并且保存在HDFS上。 ?
Combiner函數 ?
輸入：Map的輸出結果未經過MapReduce框架處理之后直接傳送給Combiner函數。 ?
處理：Combiner函數著手做合并歸類和排序等處理，經過處理之后，數據集大大縮小。 ?
輸出：這時的輸出結果才傳送給MapReduce架構處理中心。 ?
解決問題：減少帶寬傳輸壓力! ?
大數據的用途 ?
淘寶店 ?
假如我們開了一個淘寶的的話，我們就可以從淘寶里面的數據魔方這個運用里面獲取大量的數據，這些數據我們需要好好分析，利用好了，我們就可以創造價值。 ?
微信公眾號 ?
利用微信公眾號，我們也能夠獲得很多的大數據，我們投放廣告，每天有每天的數據統計，每月有每月的數據統計，這些都是大數據時代下的小數據，我們要好好利用。 ?
百度推廣 ?
我們利用百度推廣來進行廣告投放，這也是獲取大數據的一種方式，利用百度推廣來獲取我們需要的各種大數據，不過，這需要我們先進行前期的投入。 ?
智匯推 ?
智匯推是騰訊旗下的一款商業的廣告產品，我們也能夠通過我們自己的廣告模式來獲取我們需要的*化的數據，和其他的推廣方式一樣，這里也有每天的數據分析，我們同樣可以獲得大數據。 ?
頭條號 ?
還有就是現在比較火的頭條了，我們利用頭條來進行我們自己公司的廣告推廣，從而獲得我們需要的一些數據，進行統計，進行分析，得出結論，進而進行合理的投放，獲得利益。 ?
微博 ?
微博也是一種獲得大數據的推廣方式之一，我們可以通過微博來進行企業的活動推廣，進而從每日、每月的數據中獲得我們需要的信息，讓我們的推廣模式進行改變，為企業節約成本，為企業帶來收益。 ?
大數據學習階段 ?
*階段：大數據前沿知識及hadoop入門，大數據前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分布模式的安裝配置。 ?
第二階段：hadoop部署進階。Hadoop集群模式搭建，hadoop分布式文件系統HDFS深入剖析。使用HDFS提供的api進行HDFS文件操作。Mapreduce概念及思想。 ?
第三階段：大數據導入與存儲。mysql數據庫基礎知識，hive的基本語法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop組件導入到hive。
?
第四階段：Hbase理論與實戰。Hbase簡介。安裝與配置。hbase的數據存儲。項目實戰。 ?
第五階段：Spaer配置及使用場景。scala基本語法。spark介紹及發展歷史，spark stant a lone模式部署。sparkRDD詳解。 ?
第六階段：spark大數據分析原理。spark內核，基本定義，spark任務調度。sparkstreaming實時流計算。sparkmllib機器學習。sparksql查詢。 ?
第七階段：hadoop+spark大數據分析。實戰案例深入解析。hadoop+spark的大數據分析之分類。logistic回歸與主題推薦。 ?
OODA原型 ?
概而論之，OODA指的是在充分觀察了解你和對手的環境的前提下，模擬對手在特定環境下的行為，進而做出一系列的對策，并且快速響應執行!之后又迅速收集反饋信息，進入下一個OODA循環決策。 ?
觀察: ?
指的是通過多角度了解你與對手目前的真實處境。要做的事情就是盡可能全面地收集過去和現在的信息。以求足夠了解對手正在所使用的策略和戰術。 ?
調整： ?
利用觀察到的信息來感知和分析對手，并且根據對手的歷史信息模擬其后續的決策行為，對目前自己的行為作出*的調整建議。這一步驟也最為關鍵! ?
決策： ?
根據自己的現狀，從多種調整方案中篩選權衡出最行之有效的執行方案。這一步其實依賴對己方所有大小情況的掌握。勝利屬于作出正確決策的一方! ?
執行： ?
這個毋庸置疑，沒有執行的方案就是一紙空文。這與平時訓練養成的素質有關。*俗語說，“養兵千日，用兵一時。”這個時候就是生死存亡見分曉的時候了。同時也是在校驗決策的正確性! ?
