面對大數據,各種處理系統層出不窮,各有特色.總體來說,我們普開數據可以總結出的發展趨勢，以下是小編為你整理的如何學習好大數據 ?
(1) 數據處理引擎專用化:為了降低成本,提高能效,大數據系統需要擺脫傳統的通用體系,趨向專用化架構技術.為此,國內外的互聯網龍頭企業都在基于開源系統開發面向典型應用的大規模、高通量、低成本、強擴展的專用化系統;
(2) 數據處理平臺多樣化:自2008年以來克隆了Google的GFS和MapReduce的Apache Hadoop逐漸被互聯網企業所廣泛接納,并成為大數據處理領域的事實標準.但在全面兼容Hadoop的基礎上,Spark通過更多的利用內存處理大幅提高系統性能.而Scribe,Flume,Kafka,Storm,Drill,Impala,TEZ/Stinger,Presto,Spark/Shark等的出現并不是取代Hadoop,而是擴大了大數據技術的生態環境,促使生態環境向良性化和完整化發展. ?
(3) 數據計算實時化:在大數據背景下,作為批量計算的補充,旨在將PB級數據的處理時間縮短到秒級的實時計算受到越來越多的關注. ?
大數據學習的(必備技能) ?
1. 數據結構 ?
2. 關系型數據庫 ?
3. Linux系統操作 ?
4. Linux操作系統概述 ?
5. 安裝Linux操作系統 ?
6. 圖形界面操作基礎 ?
7. Linux字符界面基礎 ?
8. 字符界面操作進階 ?
9. 用戶、組群和權限管理 ?
10. 文件系統管理 ?
11. 軟件包管理與系統備份 ?
12. Linux網絡配置 ?
主要掌握Linux操作系統的理論基礎和服務器配置實踐知識，同時通過大量實驗，著重培養學生的動手能力。使學生了解Linux操作系統在行業中的重要地位和廣泛的使用范圍。在學習Linux的基礎上，加深對服務器操作系統的認識和實踐配置能力。加深對計算機網絡基礎知識的理解，并在實踐中加以應用。掌握Linux操作系統的安裝、命令行操作、用戶管理、磁盤管理、文件系統管理、軟件包管理、進程管理、系統監測和系統故障排除。掌握Linux操作系統的網絡配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服務的配置與管理。為更深一步學習其它網絡操作系統和軟件系統開發奠定堅實的基礎。與此同時，如果大家有時間把javaweb及框架學習一番，會讓你的大數據學習更自由一些。 ?
學大數據要注意的事項 ?
特征。特征分析是從數據庫中的一組數據中提取出關于這些數據的特征式，這些特征式表達了該數據集的總體特征。如營銷人員通過對客戶流失因素的特征提取，可以得到導致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預防客戶的流失。
?
變化和偏差分析。偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面。 ?
Web頁挖掘。隨著Internet的迅速發展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，并根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。 ?
MapReduce工作機制
MapReduce的主體是兩個函數Map()和Reduce()，Map負責清洗數據，Reduce負責數據分析并輸出最終結果，而且這兩個功能之間并非一對一的關系，可以根據具體業務選擇匹配關系。 ?
Map函數
輸入：鍵值關系的數據隊列，鍵是每段內容開頭的偏移量。
處理：從輸入中抽取出自定義的關鍵字段。這個處理過程可以很簡單，也可以很復雜。
輸出：鍵值關系的數據隊列，通常是保存在硬盤上，而不是HDFS中。因為這個數據集只是個中間過程，計算結束時需要被刪除。 ?
Reduce函數
輸入：Map的輸出結果經過MapReduce框架處理之后分發給Reduce函數，因為通常一個Reduce函數需要拿到完整的數據集之后才能開始分析。
處理：這一步的分析處理將是最為艱難和富有價值的環節。根據不同業務指標定義處理函數。
輸出：輸出自定義的格式文件，并且保存在HDFS上。 ?
Combiner函數
輸入：Map的輸出結果未經過MapReduce框架處理之后直接傳送給Combiner函數。
處理：Combiner函數著手做合并歸類和排序等處理，經過處理之后，數據集大大縮小。
輸出：這時的輸出結果才傳送給MapReduce架構處理中心。
解決問題：減少帶寬傳輸壓力!
