從數據的收集開始，到整理歸類發現其隱藏的信息，再到做出分析報告，都沒有概念，我們面對日益發展的環境，又該如何進行數據分析呢?以下是小編為你整理的大數據都學什么 ?

首先，先從采購角度入手，為采購提供數據支持，分析市場行情判斷采購節點，想任何工作盡可能更加專業化發展，不再依靠經驗而是靠數據說話; ?

其次，要掌握專業的數據分析和挖掘技能，乃至于成為數據科學家，是非常非常艱難的，從零基礎、在短時間內提升數據獲取、數據分析、數據可視化的水平，是完全可能的; ?

接著，數據分析都無疑是一項重中之重的技能，不僅是技術層面，更包括思維層面;

然后，從零學會大數據核心，數據分析系列課程，Udacity-Data Analyst相關課程，Excel知識，統計學知識; ?

再次，入門一個新領域時，有一個前輩幫你及時糾正錯誤方向，還有一群互相鼓勵的小伙伴們是很有必要的; ?

*，每月月會寫一份當月學習總結，囊括對知識的掌握和時間安排方面的感悟，并及時對計劃做出適當的調整，詳細規劃下個月學習任務的時間安排; ?

云端的大數據 ?

“云”其實指的是多臺虛擬服務器的組合，云為不同的使用者提供一個計算的平臺。這就是IaaS(基礎設置即服務)，亞馬遜的Amazon EC2和Amazon S3就是這樣一個服務。 ?

IaaS帶給你的是大數據計算的資源，而PaaS將為您提供更為高級的大數據服務。所謂平臺即服務(PaaS)指的是提供各種開發解決方案和系統環境。按需使用的PaaS又稱為中間件，極大的節省了部署環境的時間和成本。 ?

目前主要的大數據服務提供商是Amazon/Microsoft/Google，這些大型的服務商提供IaaS和PaaS的混合服務，以滿足不同業務要求。其中Google專注于大數據應用的研究上，Amazon發力提供更多規模的大數據服務平臺。 ?

Sqoop ?

Sqoop(發音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型數據庫(例如 ： MySQL ,Oracle ,Postgres等)中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。 ?

1、配置Sqoop 2、使用Sqoop把數據從MySQL導入到HDFS中 3、使用Sqoop把數據從HDFS導出到MySQL中

?

Storm為分布式實時計算提供了一組通用原語，可被用于“流處理”之中，實時處理消息并更新數據庫。這是管理隊列及工作者集群的另一種方式。 Storm也可被用于“連續計算”(continuous computation)，對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算。 ?

1、Storm基礎知識：包括Storm的基本概念和Storm應用場景，體系結構與基本原理，Storm和Hadoop的對比 2、Storm集群搭建：詳細講述Storm集群的安裝和安裝時常見問題 3、Storm組件介紹: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失敗的重發 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm編程實戰 ?

Hadoop是什么 ?

Hadoop是一個大家族，是一個開源的生態系統，是一個分布式運行系統，是基于Java編程語言的架構。不過它*明的技術還是HDFS和MapReduce，使得它可以分布式處理海量數據。 ?

HDFS(分布式文件系統)： ?

它與現存的文件系統不同的特性有很多，比如高度容錯(即使中途出錯，也能繼續運行)，支持多媒體數據和流媒體數據訪問，高效率訪問大型數據集合，數據保持嚴謹一致，部署成本降低，部署效率提交等，如圖是HDFS的基礎架構 ?

MapReduce(并行計算架構)： ?

它可以將計算任務拆分成大量可以獨立運行的子任務，接著并行運算，另外會有一個系統調度的架構負責收集和匯總每個子任務的分析結果。其中 包含映射算法與規約算法。如圖是MapReduce的內部計算步驟 ?

Pig/Hive(Hadoop編程)： ?

Pig是一種高級編程語言，在處理半結構化數據上擁有非常高的性能，可以幫助我們縮短開發周期。 ?

Hive是數據分析查詢工具，尤其在使用類SQL查詢分析時顯示是極高的性能。可以在分分鐘完成ETL要一晚上才能完成的事情，這就是優勢，占了先機! ?