本文全面地介紹了關(guān)于大數(shù)據(jù)的核心術(shù)語，這不僅是大數(shù)據(jù)初學(xué)者很好的入門資料，對(duì)于高階從業(yè)人員也可以起到查漏補(bǔ)缺的作用。

上篇

算法(Algorithm)：算法可以理解成一種數(shù)學(xué)公式或用于進(jìn)行數(shù)據(jù)分析的統(tǒng)計(jì)學(xué)過程。那么，算法又是何以與大數(shù)據(jù)扯上關(guān)系的呢?要知道，盡管算法這個(gè)詞是一個(gè)統(tǒng)稱，但是在這個(gè)流行大數(shù)據(jù)分析的時(shí)代，算法也經(jīng)常被提及且變得越發(fā)流行。

分析(Analytics)：讓我們?cè)囅胍粋€(gè)很可能發(fā)生的情況，你的信用卡公司給你發(fā)了封記錄著你全年卡內(nèi)資金轉(zhuǎn)賬情況的郵件，如果這個(gè)時(shí)候你拿著這張單子，開始認(rèn)真研究你在食品、衣物、娛樂等方面消費(fèi)情況的百分比會(huì)怎樣?你正在進(jìn)行分析工作，你在從你原始的數(shù)據(jù)(這些數(shù)據(jù)可以幫助你為來年自己的消費(fèi)情況作出決定)中挖掘有用的信息。那么，如果你以類似的方法在推特和臉書上對(duì)整個(gè)城市人們發(fā)的帖子進(jìn)行處理會(huì)如何呢?在這種情況下，我們就可以稱之為大數(shù)據(jù)分析。所謂大數(shù)據(jù)分析，就是對(duì)大量數(shù)據(jù)進(jìn)行推理并從中道出有用的信息。以下有三種不同類型的分析方法，現(xiàn)在我們來對(duì)它們分別進(jìn)行梳理。

描述性分析法(Descriptive Analytics)：如果你只說出自己去年信用卡消費(fèi)情況為食品方面 25%、衣物方面 35%、娛樂方面  20%、剩下 20% 為雜項(xiàng)開支，那么這種分析方法被稱為描述性分析法。當(dāng)然，你也可以找出更多細(xì)節(jié)。

預(yù)測性分析法(Predictive Analytics)：如果你對(duì)過去五年信用卡消費(fèi)的歷史進(jìn)行了分析，發(fā)現(xiàn)每年的消費(fèi)情況基本上呈現(xiàn)一個(gè)連續(xù)變化的趨勢，那么在這種情況下你就可以高概率預(yù)測出：來年的消費(fèi)狀態(tài)應(yīng)該和以往是類似的。這不是說我們?cè)陬A(yù)測未來，而是應(yīng)該理解為，我們?cè)谟酶怕暑A(yù)測可能發(fā)生什么事情。在大數(shù)據(jù)的預(yù)測分析中，數(shù)據(jù)科學(xué)家可能會(huì)使用先進(jìn)的技術(shù)，如機(jī)器學(xué)習(xí)，和先進(jìn)的統(tǒng)計(jì)學(xué)處理方法(這部分后面我們會(huì)談到)來預(yù)測天氣情況、經(jīng)濟(jì)變化等等。

規(guī)范性分析(Prescriptive  Analytics)：我們還是用信用卡轉(zhuǎn)賬的例子來理解。假如你想找出自己的哪類消費(fèi)可以對(duì)整體消費(fèi)產(chǎn)生巨大影響，那么基于預(yù)測性分析的規(guī)范性分析法通過引入動(dòng)態(tài)指標(biāo)(action)以及對(duì)由此產(chǎn)生的結(jié)果進(jìn)行分析來規(guī)定一個(gè)可以降低你整體開銷的最佳消費(fèi)項(xiàng)。你可以將它延伸到大數(shù)據(jù)領(lǐng)域，并想象一個(gè)負(fù)責(zé)人是如何通過觀察他面前多種動(dòng)態(tài)指標(biāo)的影響，進(jìn)而作出所謂由「數(shù)據(jù)驅(qū)動(dòng)」的決策的。

批處理(Batch  processing)：盡管批量數(shù)據(jù)處理從大型機(jī)時(shí)代就已經(jīng)存在了，但是在處理大量數(shù)據(jù)的大數(shù)據(jù)時(shí)代面前，批處理獲得了更重要的意義。批量數(shù)據(jù)處理是一種處理大量數(shù)據(jù)(如在一段時(shí)間內(nèi)收集到的一堆交易數(shù)據(jù))的有效方法。分布式計(jì)算(Hadoop)，后面會(huì)討論，就是一種專門處理批量數(shù)據(jù)的方法。

Cassandra：是一個(gè)很流行的開源數(shù)據(jù)管理系統(tǒng)。Apache  掌握了很多大數(shù)據(jù)處理技術(shù)，Cassandra 就是他們專門設(shè)計(jì)用于在分布式服務(wù)器之間處理大量數(shù)據(jù)的系統(tǒng)。

云計(jì)算(Cloud  computing)：云計(jì)算這個(gè)詞現(xiàn)在已經(jīng)家喻戶曉，這里大可不必贅述，本質(zhì)上講，軟件或數(shù)據(jù)在遠(yuǎn)程服務(wù)器上進(jìn)行處理，并且這些資源可以在網(wǎng)絡(luò)上任何地方被訪問，那么它就可被稱為云計(jì)算。

集群計(jì)算(Cluster  computing)：這是一個(gè)來描述使用多個(gè)服務(wù)器豐富資源的一個(gè)集群的計(jì)算的形象化術(shù)語。更技術(shù)層面的理解是在集群處理的語境下，我們可能會(huì)討論節(jié)點(diǎn)(node)、集群管理層(cluster

 management layer)、負(fù)載平衡(load balancing)和并行處理(parallel processing)等等。

暗數(shù)據(jù)(Dark  data)：所謂暗數(shù)據(jù)指的是那些公司積累和處理的實(shí)際上完全用不到的所有數(shù)據(jù)，從這個(gè)意義上來說我們稱它們?yōu)椤赴怠沟臄?shù)據(jù)，它們有可能根本不會(huì)被分析。這些數(shù)據(jù)可以是社交網(wǎng)絡(luò)中的信息，電話中心的記錄，會(huì)議記錄等等。

數(shù)據(jù)湖(Data lake)：一個(gè)數(shù)據(jù)湖(data lake)即一個(gè)以大量原始格式保存了公司級(jí)別的數(shù)據(jù)知識(shí)庫。這里我們介紹一下數(shù)據(jù)倉庫(Data  warehouse)。數(shù)據(jù)倉庫是一個(gè)與這里提到的數(shù)據(jù)湖類似的概念，但不同的是它保存的是經(jīng)過清理和并且其它資源整合后的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)倉庫經(jīng)常被用于通用數(shù)據(jù)。一般認(rèn)為，一個(gè)數(shù)據(jù)湖可以讓人更方便地接觸到那些你真正需要的數(shù)據(jù)，此外，你也可以更方便地處理、有效地使用它們。

數(shù)據(jù)挖掘(Data  mining)：數(shù)據(jù)挖掘關(guān)乎如下過程，從一大群數(shù)據(jù)中以復(fù)雜的模式識(shí)別技巧找出有意義的模式，并且得到相關(guān)洞見。在數(shù)據(jù)挖掘中，你將會(huì)先對(duì)數(shù)據(jù)進(jìn)行挖掘，然后對(duì)這些得到的結(jié)果進(jìn)行分析。為了得到有意義的模式(pattern)，數(shù)據(jù)挖掘人員會(huì)使用到統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)算法和人工智能。

數(shù)據(jù)科學(xué)家：數(shù)據(jù)科學(xué)家是時(shí)下非常性感的一門行業(yè)。它指那些可以通過提取原始數(shù)據(jù)進(jìn)而理解、處理并得出意見的這樣一批人。部分?jǐn)?shù)據(jù)科學(xué)家必備的技能有分析能力、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)、創(chuàng)造力、講故事能力以及理解商業(yè)背景的能力。

分布式文件系統(tǒng)(Distributed File  System)：大數(shù)據(jù)數(shù)量太大，不能存儲(chǔ)在一個(gè)單獨(dú)的系統(tǒng)中，分布式文件系統(tǒng)是一個(gè)能夠把大量數(shù)據(jù)存儲(chǔ)在多個(gè)存儲(chǔ)設(shè)備上的文件系統(tǒng)，它能夠減少存儲(chǔ)大量數(shù)據(jù)的成本和復(fù)雜度。

機(jī)器學(xué)習(xí)(Machine  Learning)：機(jī)器學(xué)習(xí)是基于喂入的數(shù)據(jù)去設(shè)計(jì)能夠?qū)W習(xí)、調(diào)整和提升的系統(tǒng)的一種方法。使用設(shè)定的預(yù)測和統(tǒng)計(jì)算法，它們持續(xù)地逼近正確的行為和想法，隨著更多的數(shù)據(jù)被輸入到系統(tǒng)，它們能夠進(jìn)一步提升。

下篇

Apache  Kafka：它用于構(gòu)建實(shí)時(shí)數(shù)據(jù)管道和流媒體應(yīng)用。它如此流行的原因在于能夠以容錯(cuò)的方式存儲(chǔ)、管理和處理數(shù)據(jù)流，據(jù)說還非常快速。鑒于社交網(wǎng)絡(luò)環(huán)境大量涉及數(shù)據(jù)流的處理，卡夫卡目前非常受歡迎。

Apache Mahout：Mahout  提供了一個(gè)用于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的預(yù)制算法庫，也可用作創(chuàng)建更多算法的環(huán)境。換句話說，機(jī)器學(xué)習(xí)極客的最佳環(huán)境。

Apache Oozie：在任何編程環(huán)境中，你都需要一些工作流系統(tǒng)通過預(yù)定義的方式和定義的依賴關(guān)系，安排和運(yùn)行工作。Oozie 為  pig、MapReduce 以及 Hive 等語言編寫的大數(shù)據(jù)工作所提供正是這個(gè)。

Apache Drill, Apache Impala, Apache Spark SQL：這三個(gè)開源項(xiàng)目都提供快速和交互式的 SQL，如與 Apache  Hadoop 數(shù)據(jù)的交互。如果你已經(jīng)知道 SQL 并處理以大數(shù)據(jù)格式存儲(chǔ)的數(shù)據(jù)(HBase 或 HDFS)，這些功能將非常有用。

Apache Hive：知道 SQL 嗎?如果知道那你就很好上手 Hive 了。Hive 有助于使用 SQL  讀取、寫入和管理駐留在分布式存儲(chǔ)中的大型數(shù)據(jù)集。

Apache Pig：Pig 是在大型分布式數(shù)據(jù)集上創(chuàng)建、查詢、執(zhí)行例程的平臺(tái)。所使用的腳本語言叫做 Pig Latin。據(jù)說它很容易理解和學(xué)習(xí)。

Apache Sqoop：一個(gè)用于將數(shù)據(jù)從 Hadoop 轉(zhuǎn)移到非 Hadoop 數(shù)據(jù)存儲(chǔ)(如數(shù)據(jù)倉庫和關(guān)系數(shù)據(jù)庫)的工具。

Apache Storm：一個(gè)免費(fèi)開源的實(shí)時(shí)分布式計(jì)算系統(tǒng)。它使得使用 Hadoop 進(jìn)行批處理的同時(shí)可以更容易地處理非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)分析師(Data  Analyst)：數(shù)據(jù)分析師是一個(gè)非常重要和受歡迎的工作，除了準(zhǔn)備報(bào)告之外，它還負(fù)責(zé)收集、編輯和分析數(shù)據(jù)。我會(huì)寫一篇更詳細(xì)的關(guān)于數(shù)據(jù)分析師的文章。

數(shù)據(jù)清洗(Data  Cleansing)：顧名思義，數(shù)據(jù)清洗涉及到檢測并更正或者刪除數(shù)據(jù)庫中不準(zhǔn)確的數(shù)據(jù)或記錄，然后記住「臟數(shù)據(jù)」。借助于自動(dòng)化或者人工工具和算法，數(shù)據(jù)分析師能夠更正并進(jìn)一步豐富數(shù)據(jù)，以提高數(shù)據(jù)質(zhì)量。請(qǐng)記住，臟數(shù)據(jù)會(huì)導(dǎo)致錯(cuò)誤的分析和糟糕的決策。

數(shù)據(jù)即服務(wù)(DaaS)：我們有軟件即服務(wù)(SaaS), 平臺(tái)即服務(wù)(PaaS)，現(xiàn)在我們又有  DaaS，它的意思是數(shù)據(jù)即服務(wù)。通過給用戶提供按需訪問的云端數(shù)據(jù)，DaaS 提供商能夠幫助我們快速地得到高質(zhì)量的數(shù)據(jù)。

數(shù)據(jù)虛擬化(Data  virtualization)：這是一種數(shù)據(jù)管理方法，它允許某個(gè)應(yīng)用在不知道技術(shù)細(xì)節(jié)(如數(shù)據(jù)存放在何處，以什么格式)的情況下能夠抽取并操作數(shù)據(jù)。例如，社交網(wǎng)絡(luò)利用這個(gè)方法來存儲(chǔ)我們的照片。

臟數(shù)據(jù)(Dirty Data)：既然大數(shù)據(jù)這么吸引人，那么人們也開始給數(shù)據(jù)加上其他的形容詞來形成新的術(shù)語，例如黑數(shù)據(jù)(dark data)、臟數(shù)據(jù)(dirty data)、小數(shù)據(jù)(small data)，以及現(xiàn)在的智能數(shù)據(jù)(smart  data)。臟數(shù)據(jù)就是不干凈的數(shù)據(jù)，換言之，就是不準(zhǔn)確的、重復(fù)的以及不一致的數(shù)據(jù)。

模糊邏輯(Fuzzy logic)：我們有多少次對(duì)一件事情是確定的，例如 100% 正確?很稀少!我們的大腦將數(shù)據(jù)聚合成部分的事實(shí)，這些事實(shí)進(jìn)一步被抽象為某種能夠決定我們決策的閾值。模糊邏輯是一種這樣的計(jì)算方式，與像布爾代數(shù)等等中的「0」和「1」相反，它旨在通過漸漸消除部分事實(shí)來模仿人腦。

游戲化(Gamification)：在一個(gè)典型的游戲中，你會(huì)有一個(gè)類似于分?jǐn)?shù)一樣的元素與別人競爭，并且還有明確的游戲規(guī)則。大數(shù)據(jù)中的游戲化就是使用這些概念來收集、分析數(shù)據(jù)或者激發(fā)玩家。

圖數(shù)據(jù)庫(Graph  Databases)：圖數(shù)據(jù)使用節(jié)點(diǎn)和邊這樣的概念來代表人和業(yè)務(wù)以及他們之間的關(guān)系，以挖掘社交媒體中的數(shù)據(jù)。是否曾經(jīng)驚嘆過亞馬遜在你買一件產(chǎn)品的時(shí)候告訴你的關(guān)于別人在買什么的信息?對(duì)，這就是圖數(shù)據(jù)庫。

負(fù)載均衡(Load balancing)：為了實(shí)現(xiàn)最佳的結(jié)果和對(duì)系統(tǒng)的利用，將負(fù)載分發(fā)給多個(gè)計(jì)算機(jī)或者服務(wù)器。

元數(shù)據(jù)(Metadata)：元數(shù)據(jù)就是能夠描述其他數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)總結(jié)了數(shù)據(jù)的基本信息，這使得查找和使用特定的數(shù)據(jù)實(shí)例變得更加容易。例如，作者、數(shù)據(jù)的創(chuàng)建日期、修改日期以及大小，這幾項(xiàng)是基本的文檔元數(shù)據(jù)。除了文檔文件之外，元數(shù)據(jù)還被用于圖像、視頻、電子表格和網(wǎng)頁。

MongoDB：MongoDB  是一個(gè)面向文本數(shù)據(jù)模型的跨平臺(tái)開源數(shù)據(jù)庫，而不是傳統(tǒng)的基于表格的關(guān)系數(shù)據(jù)庫。這種數(shù)據(jù)庫結(jié)構(gòu)的主要設(shè)計(jì)目的是讓結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)在特定類型應(yīng)用的整合更快、更容易。

Mashup：mashup  是一個(gè)將不同的數(shù)據(jù)集合并到一個(gè)單獨(dú)應(yīng)用中的方法，例如，將房地產(chǎn)數(shù)據(jù)與地理位置數(shù)據(jù)、人口數(shù)據(jù)結(jié)合起來。

多維數(shù)據(jù)庫(Multi-Dimensional  Databases)：這是一個(gè)為了數(shù)據(jù)在線分析處理(OLAP)和數(shù)據(jù)倉庫優(yōu)化而來的數(shù)據(jù)庫。

多值數(shù)據(jù)庫(MultiValue Databases)：多值數(shù)據(jù)庫是一種非關(guān)系型數(shù)據(jù)庫，它能夠直接理解三維數(shù)據(jù)，這對(duì)直接操作 HTML 和 XML  字符串是很好的。

自然語言處理(Natural Language  Processing)：自然語言處理是被設(shè)計(jì)來讓計(jì)算機(jī)更加準(zhǔn)確地理解人類日常語言的軟件算法，能夠讓人類更加自然、更加有效地和計(jì)算機(jī)交互。

神經(jīng)網(wǎng)絡(luò)(Neural  Network)：神經(jīng)網(wǎng)絡(luò)是一個(gè)受生物學(xué)啟發(fā)的非常漂亮的編程范式，它能夠讓計(jì)算機(jī)從觀察到的數(shù)據(jù)中學(xué)習(xí)。已經(jīng)好久沒有一個(gè)人會(huì)說一個(gè)編程范式很漂亮了。實(shí)際上，神經(jīng)網(wǎng)絡(luò)就是受現(xiàn)實(shí)生活中腦生物學(xué)啟發(fā)的模型.......與神經(jīng)網(wǎng)絡(luò)緊密關(guān)聯(lián)的一個(gè)術(shù)語就是深度學(xué)習(xí)。深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)中一系列學(xué)習(xí)技術(shù)的集合。

模式識(shí)別(Pattern  Recognition)：當(dāng)算法需要在大規(guī)模數(shù)據(jù)集或者在不同的數(shù)據(jù)集上確定回歸或者規(guī)律的時(shí)候，就出現(xiàn)了模式識(shí)別。它與機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘緊密相連，甚至被認(rèn)為是后兩者的代名詞。這種可見性可以幫助研究者發(fā)現(xiàn)一些深刻的規(guī)律或者得到一些可能被認(rèn)為很荒謬的結(jié)論。

射頻識(shí)別(Radio Frequency  Identification/RFID)：射頻識(shí)別是一類使用非接觸性無線射頻電磁場來傳輸數(shù)據(jù)的傳感器。隨著物聯(lián)網(wǎng)的發(fā)展，RFID  標(biāo)簽?zāi)軌虮磺度氲饺魏慰赡艿臇|西里面，這能夠生成很多需要被分析的數(shù)據(jù)。

軟件即服務(wù)(SaaS)：軟件即服務(wù)讓服務(wù)提供商把應(yīng)用托管在互聯(lián)網(wǎng)上。SaaS 提供商在云端提供服務(wù)。

半結(jié)構(gòu)化數(shù)據(jù)(Semi-structured  data)：半結(jié)構(gòu)化數(shù)據(jù)指的是那些沒有以傳統(tǒng)的方法進(jìn)行格式化的數(shù)據(jù)，例如那些與傳統(tǒng)數(shù)據(jù)庫相關(guān)的數(shù)據(jù)域或者常用的數(shù)據(jù)模型。半結(jié)構(gòu)化數(shù)據(jù)也不是完全原始的數(shù)據(jù)或者完全非結(jié)構(gòu)化的數(shù)據(jù)，它可能會(huì)包含一些數(shù)據(jù)表、標(biāo)簽或者其他的結(jié)構(gòu)元素。半結(jié)構(gòu)化數(shù)據(jù)的例子有圖、表、XML

 文檔以及電子郵件。

情感分析(Sentiment  Analysis)：情感分析涉及到了對(duì)消費(fèi)者在社交媒體、顧客代表電話訪談和調(diào)查中存在的多種類型的交互和文檔中所表達(dá)的情感、情緒和意見的捕捉、追蹤和分析。文本分析和自然語言處理是情感分析過程中的典型技術(shù)。情感分析的目標(biāo)就是要辨別或評(píng)價(jià)針對(duì)一個(gè)公司、產(chǎn)品、服務(wù)、人或者時(shí)間所持有的態(tài)度或者情感。

空間分析(Spatial  analysis)：空間分析指的是對(duì)空間數(shù)據(jù)作出分析，以識(shí)別或者理解分布在幾何空間中的數(shù)據(jù)的模式和規(guī)律，這類數(shù)據(jù)有幾何數(shù)據(jù)和拓?fù)鋽?shù)據(jù)。

流處理(Stream  processing)：流處理被設(shè)計(jì)用來對(duì)「流數(shù)據(jù)」進(jìn)行實(shí)時(shí)的連續(xù)查詢和處理。為了對(duì)大量的流數(shù)據(jù)以很快的速度持續(xù)地進(jìn)行實(shí)時(shí)的數(shù)值計(jì)算和統(tǒng)計(jì)分析，社交網(wǎng)絡(luò)上的流數(shù)據(jù)對(duì)流處理的需求很明確。

智能數(shù)據(jù)(Smart Data)：是經(jīng)過一些算法處理之后有用并且可操作的數(shù)據(jù)。

可視化(Visualization)：有了合理的可視化之后，原始數(shù)據(jù)就能夠使用了。當(dāng)然這里的可視化并不止簡單的圖表。而是能夠包含數(shù)據(jù)的很多變量的同時(shí)還具有可讀性和可理解性的復(fù)雜圖表。