數據被譽為新時代的石油，隨著大數據市場的發展，數據開始流通，越來越多人也開始挖掘數據的價值。本文盡可能全面地介紹國內的數據源、搜索數據的方法以及數據交易的平臺，幫助數據工作者們快速全面地找數據。文中涉及的數據交易方式包括API數據接口、數據包下載、數據定制等，涵蓋免費的公開源數據以及付費數據。以下是小編為你整理的大數據學習步驟 ?
統計數據 ?
*統計局/*數據 ?
最正統、最官方的數據，數據范圍涵蓋各行各業，時間跨度也較大，可下載為各種常見格式 ?
*網站通常有統計數據，但不同*數據量有多有少，目前為止數據并不算深入，但隨著數據開放政策的深入，相信*網站會成為很好的數據源 ?
*列表可以在**網找，下文中的各行業數據都可以在相關的*網站找到數據，就不一一列舉了
數據需要申請或購買，公開的并不多，但不失為一個選擇 ?
咨詢、金融、市場調研公司，尤其是業內頂尖的，通常有自己的數據，但同樣并不免費公開，部分數據可購買 ?
大部分主要行業都有自己的年鑒，數據比較寶貴，只是給機器用之前還需要處理;價值高的年鑒通常需要付費獲取;這里推薦一下人大經濟論壇，氛圍較好 ?
如何統計數據 ?
公開信息及整理比如統計局的數據、公司自己發布的年報、其他市場機構的研究報告、或者根據公開的零散信息整理; ?
購買的數據庫市場上有很多產品化的數據庫，比如Bloomberg、OneSource、Wind等等，這個一般是以公司的名義買入口，不光咨詢公司還有很多高等院校及研究機構也買了; ?
自己的數據庫自己維護的數據庫有，但是比較少，一是專業的數據公司差不多能想到的都做了，二是自己做數據庫其實是一件很麻煩的事情。在有些數據是外界無法得到的情況下有可能自己維護一個小型的數據庫; ?
咨詢行業專家當然是有償的，這個在項目中應該蠻常見的。有些行業專家會專門收集和銷售數據，想要的基本能買到。 ?
發問卷有時候為了單獨的項目也會收集很特別的數據，如果外界實在沒有但是項目上沒有不行就只有自己做了，比如自己發發問卷之類的，但是這類數據需求要控制工作量，因為除非數據本身是交付內容之一，要不然不能為了個中間件花費太多時間和精力; ?
客戶有些數據就是來源于客戶，甚至是咨詢公司的產品。舉個例子，比如HR咨詢公司的行業工資數據、四大的一些數據庫等等，這些數據的采集需要比較強的專業性或者時間積累，很大一部分是通過調查客戶的HR收集來的數據進行統計的。 ?
HBase集群及其管理 ?
1、集群的搭建過程 2、集群的監控 3、集群的管理 ?
Pig基礎知識 ?
Pig是進行Hadoop計算的另一種框架，是一個高級過程語言，適合于使用 Hadoop 和 MapReduce 平臺來查詢大型半結構化數據集。通過允許對分布式數據集進行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。 ?
1、Pig概述 2、安裝Pig 3、使用Pig完成手機流量統計業務
?
Hive ?
hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用。 ?
1、數據倉庫基礎知識 2、Hive定義 3、Hive體系結構簡介 4、Hive集群 5、客戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數據類型 9、表與表分區概念 10、表的操作與CLI客戶端 11、數據導入與CLI客戶端 12、查詢數據與CLI客戶端 13、數據的連接與CLI客戶端 14、用戶自定義函數(UDF) ?
Scala ?
Scala是另一種基于Java的語言，并且和Java相同的是，它正日益成為大規模機器學習，或構建高層次算法的工具。它富有表現力，并且還能夠構建健壯的系統。 ?
“Java就像是建造時的鋼鐵，而Scala則像黏土，因為你之后可以將之放入窯內轉變成鋼鐵，”Driscoll說。 ?
數據結構化對企業的增益
將對非結構化的內容的管理納入到您企業的數據管理能力。非結構化數據一直是企業業務運營的一部分，但既然現在我們已經有了更好的技術來探索，分析和這些非結構化的內容，進而幫助改善業務流程和工業務洞察，所以我們最終將其正式納入我們的數據管理是非常重要的。大多數企業目前都被困在了這一步驟。數據庫中基本的、非結構化的數據是以評論的形式或者自由的形式存在的，其至少是數據庫的一部分，應該被納入到數據管理。但挖掘這些數據信息則是非常難的。 ?
數字數據存儲在傳統的結構化數據庫和業務流程外，很少有許多的治理范圍分組和數據管理的實現，除了當其被看作是一個技術問題時。一般來說，除了嚴格遵守相關的安全政策，今天的企業尚未對其進行真正有效的管理。當您的企業開始大跨步實現了大數據項目之后，您會發現這一類型的數據信息迅速進入了您需要管理的范疇，其輸出會影響您企業的商業智能解決方案或者甚至是您企業的業務活動。積極的考慮將這些數據納入到您企業的數據管理功能的范圍，并明確企業的所有權，并記錄好這些數據信息的諸如如何使用、信息來源等等資料。不要采取“容易的輕松路線”，單純依靠大數據技術是您企業*正式的非結構化數據管理的過程。 ?
隨著時間的推移，企業將收集越來越多的非結構化數據，請務必搞清楚哪些數據是好的，哪些是壞的，他們分別來自何處，以及其使用是否一致，將變得越來越重要，甚至在其生命周期使用這個數據都是至關重要的。要保持這種清晰，您可以使用大數據和其他工具，以了解您企業所收集的數據信息，確定其有怎樣的價值，需要怎樣的管理，這是至關重要的。 ?
大多數進入您企業的大數據系統的非結構化數據都已經經過一些監控了，但通常是作為一個BLOB(binarylargeobject)二進制大對象和非結構化的形式進行的。隨著您的企業不斷的在您的業務流程中“發掘”出這一類型的數據，其變得更加精確和有價值。其可能還具有額外的特點，符合安全，隱私或法律和法規的元素要求。最終，這些數據塊可以成為新的數據元素或添加到現有的數據，但您必須有元數據對其進行描述和管理，以便盡可能最有效地利用這些數據。 ?
正式在生產環境運行之前進行測試。如果您的企業做的是一次性的分析或完整的一次性的試點，這可能并不適用于您的企業，但對大多數企業來說，他們最初的大數據工作將迅速發展，他們找到一個可持續利用他們已經挖掘出的極具價值的信息的需求。這意味著需要在您的沙箱環境中進行測試，然后才正式的在您的生產環境運行。
