在巨大的數據集中進行篩選的*工具是什么?通過和數據駭客的交流，我們知道了他們用于硬核數據分析最喜歡的語言和工具包。以下是小編為你整理的學大數據要哪些基礎 ?
在這些語言名單中，如果R語言排第二，那就沒其他能排*。自1997年以來，作為昂貴的統計軟件，如Matlab和SAS的免費替代品，它漸漸風靡全球。 ?
在過去的幾年時間中，R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在書呆子一樣的統計學家中人盡皆知，而且也為華爾街交易員，生物學家，和硅谷開發者所家喻戶曉。各種行業的公司，例如Google，Facebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業用途上持續蔓延和擴散。 ?
R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。
R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟件包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，并且最近的一次投票表明，R語言是迄今為止在科學數據中*的語言，被61%的受訪者使用(其次是Python，39%)。 ?
此外，它的身影也漸漸出現在了華爾街。以前，銀行分析師會全神貫注于Excel文件直到深夜，但現在R語言被越來越多地用于金融建模R，特別是作為一種可視化工具，Niall O’Connor，美國銀行的副總裁如是說。 “R語言使我們平凡的表格與眾不同，”他說。 ?
R語言的日漸成熟，使得它成為了數據建模的*語言，雖然當企業需要生產大型產品時它的能力會變得有限，也有的人說這是因為它的地位正在被其他語言篡奪。 ?
“R更適合于做一個草圖和大概，而不是詳細的構建，”Michael Driscoll，Metamarkets的首席執行官說。 “你不會在谷歌的網頁排名以及Facebook的朋友推薦算法的核心找到R語言。工程師會用R語言做原型，然后移交給用Java或Python寫的模型。” ?
話說回來，早在2010年，Paul Butler就以R語言打造了全球的Facebook地圖而著名，這證明了該語言豐富的可視化功能。盡管他現在已經不像以前那樣頻繁地使用R語言了。 ?
“R正在一點點地過時，因為它的緩慢和處理大型數據集的笨重，”Butler說。 ?
那么，他使用什么代替呢? ?
Streaming(流計算模型) ?
Spark Streaming支持對流數據的實時處理，以微批的方式對實時數據進行計算 ?
Kafka(分布式消息隊列) ?
Kafka是Linkedin于2010年12月份開源的消息系統，它主要用于處理活躍的流式數據。 ?
活躍的流式數據在web網站應用中非常常見，這些數據包括網站的pv、用戶訪問了什么內容，搜索了什么內容等。 ?
這些數據通常以日志的形式記錄下來，然后每隔一段時間進行一次統計處理。 ?
Phoenix(hbase sql接口) ?
Apache Phoenix 是HBase的SQL驅動，Phoenix 使得Hbase 支持通過JDBC的方式進行訪問，并將你的SQL查詢轉換成Hbase的掃描和相應的動作。 ?
ranger(安全管理工具) ?
Apache ranger是一個hadoop集群權限框架，提供操作、監控、管理復雜的數據權限，它提供一個集中的管理機制，管理基于yarn的hadoop生態圈的所有數據權限。 ?
knox(hadoop安全網關) ?
Apache knox是一個訪問hadoop集群的restapi網關，它為所有rest訪問提供了一個簡單的訪問接口點，能完成3A認證(Authentication，Authorization，Auditing)和SSO(單點登錄)等 ?
確定有用的大數據 ?
大數據的利用前提是有效的大量數據，如果數據是一些臟亂差的數據，那么再多也是廢物、垃圾，怎么可能好好利用呢，對此我們首先必須知道你業務領域是什么，這個領域內什么數據是有用的。比如如果是電子商務的公司，那么首先會員數據就是一個非常有價值的數據，當你有了有價值的數據，那么接下來就是“大”，你需要足夠多的數據才能挖掘出他的價值 ?
獲取足夠數據 ?
獲取足夠量的數據主要是自身企業長期積累的過程，不過作為新的企業，在行業的沉淀也不夠，未來快速實現，可以通過一些途徑購買相關數據，金錢換時間的方式，迅速起來
?
建立合適的數據模型 ?
有了足夠的數據，我們接下來就需要行業資深數據挖掘者，在海量的數據中進行數據分析，挖掘出有商業價值的信息，比如上面會員數據，可以從會員的性別挖掘出男女喜好，生日進行生日營銷等等，這里需要相關人員對業務維度的全面把控，挖掘商業價值。下圖是騰訊數據模型 ?
數據可視化 ?
為了讓業務*能更好的理解數據，相信你的模型，就需要將數據很好的展示出來，可視化，給用戶視覺沖擊，那么你的結論就更有說服力，相關人員也更好的配合你驅動商業價值 ?
商業行為 ?
有了數據的支撐，相關運營可以針對性的進行商業營銷活動，將數據進行變現，比如爆款的推出，合理的大促等。 ?
如何選擇大數據框架
Teradata跨入大規模分析領域 Teradata收購Aster Data 擴張大數據市場 Teradata是企業級數據倉庫（EDW）的領導者，在數據庫分析領域不斷推陳出新，但在結構化數據、半結構化數據和大部分非結構化數據領域幾乎沒有很*果。 BDP——BDP商業數據平臺 海致BDP (Business DataPlatform) 連接用戶與工作所需的數據，是能提供高效數據存儲和快速查詢的列存儲數據庫實時分析平臺，用戶可以在云平臺上進行多維度、細顆粒度的分析。你還可以在移動端實時查看和分享數據，輕松把握商業趨勢，及時應對一切變化。 BDP是集中數據云端化（Cloud）、數據集中化（Centralization）、數據消費者化（Consumerization）三者為一體的云數據平臺。 ?
數據集中化是指企業在BDP商業數據平臺上可以整合分散的數據，將數據口徑（數據庫、第三方API等）統一接入，講企業的數據很好地使用起來。相比傳統的BI，使用BDP這類的云平臺（數據云端化）不僅能保證數據安全，而且無須運維和專業的IT*，企業在數據方面的成本將大幅削減。BDP產品操作簡單，企業每個人都能很快學會使用，降低了數據學習、使用門檻，讓業務人員也能自動分析數據，更快地做出相應的決策，這就是數據消費者化。
