難道有數(shù)據(jù)就叫大數(shù)據(jù)公司了?如果慶豐包子留存有這半個多世紀以來的購買者和交易記錄它就得叫大數(shù)據(jù)公司了?是，但也不是。

看硅谷四大不同類型公司如何玩轉大數(shù)據(jù)

歸納下硅谷“大數(shù)據(jù)公司”的類型大概如下：

1.數(shù)據(jù)的擁有者、數(shù)據(jù)源：特點是業(yè)務優(yōu)勢能收集到大量數(shù)據(jù)，就像煤老板壟斷一個地區(qū)的礦一樣。其實大多數(shù)有能力產生或收集數(shù)據(jù)的公司都屬于這類型，比如VantageSports和收集了PB級數(shù)據(jù)的包子鋪。

2.大數(shù)據(jù)咨詢：特點是非常技術，提供從基礎設施規(guī)劃建設維護到軟件開發(fā)和數(shù)據(jù)分析等的服務，但不擁有數(shù)據(jù)，比如Cloudera這家不到500人的startup是最著名的Hadoop架構咨詢公司。

3.做大數(shù)據(jù)工具的：比如AMPLab出來的Databricks和Yahoo人主導的Hortonworks。

4.整合應用型：特點是收集擁有或購買一些數(shù)據(jù)，然后結合AI來解決更多實際的痛點。

可能從真正意義上來說，大數(shù)據(jù)公司應該只屬于第四種類型：AI。

我相信未來是AI的，而AI的食物是數(shù)據(jù)。大數(shù)據(jù)行業(yè)最有價值的部分在于如何利用機器去處理數(shù)據(jù)得到洞見，影響組織和個人的行為，從而改變世界。收集和整理數(shù)據(jù)在未來會變得標準化和自動化，而利用AI進行分析的能力會變得更為關鍵。

再看硅谷主打AI的公司，現(xiàn)在大致可以分成以下三類了：

1.分析用戶行為，改進產品和營銷的，比如LinkedIn的推薦系統(tǒng)和用iBeacon實現(xiàn)店內營銷;

2.統(tǒng)籌大量分散個體，利用大數(shù)據(jù)實現(xiàn)精確有效的預測和規(guī)劃的，比如Uber和前段時間出現(xiàn)的AmazonFresh及GrubMarket;

3.分析識別各種類型的數(shù)據(jù)，開發(fā)更智能的設備和程序，比如Google大腦及無人車和以Nest為代表的智能設備等。

這些產品都有一個很明顯的共性，就是在努力嘗試把機器變得更智能以減輕人類的工作量。這個目的與科技發(fā)展的動力相符合，因此認為之前所說的第四種類型的公司是最有希望改變世界的。

目前硅谷的創(chuàng)業(yè)公司正在探索新的應用領域和方法，比如說物聯(lián)網(wǎng)這塊?，F(xiàn)在智能設備們才剛剛起步，Nest、被Nest收購的Dropcam、Iotera、emberlight等等都屬于少部分人的玩具。待到家家戶戶都安裝了智能冰箱、智能燈泡、智能桌子、智能沙發(fā)等等的時候，大數(shù)據(jù)的威力才會伴隨著巨大的使用規(guī)模而發(fā)揮出來。

展望一下未來的話，如果參照以前的技術革命和行業(yè)發(fā)展來看大數(shù)據(jù)，那么大數(shù)據(jù)的底層設施將會逐漸被隔離，被模塊化和標準化，甚至是自動化，而在其上的中間層和應用層將成為各大公司的數(shù)據(jù)工程師們激烈攻克的主戰(zhàn)場。

硅谷公司的大數(shù)據(jù)運行現(xiàn)狀

目前硅谷各個公司的數(shù)據(jù)處理水平和模式差別還是蠻大的。除Facebook等幾個很領先的公司外，大部分公司要么還沒有能力自行處理數(shù)據(jù)，要么就是正在建立單獨的數(shù)據(jù)處理部門，主要負責從數(shù)據(jù)基本處理到后期分析的各個環(huán)節(jié)，然后再送到公司內部的其他部門。

對于這些公司來說，建立一個單獨的數(shù)據(jù)處理部門可能還有還路漫漫其修遠兮。普遍來說，各公司自主建立數(shù)據(jù)處理平臺存在著幾個難點：

1.沒有足夠優(yōu)秀的數(shù)據(jù)工程師來組建團隊

2.沒有足夠能力整合數(shù)據(jù)

3.沒有易于操作的基礎軟硬件來支持數(shù)據(jù)分析

這幾個主要難點使得大數(shù)據(jù)分析越來越專業(yè)化、服務化，以至于我們漸漸看到一條“硅谷數(shù)據(jù)處理產業(yè)鏈”的出現(xiàn)。從數(shù)據(jù)的儲存，數(shù)據(jù)分析平臺建立，到數(shù)據(jù)分析，數(shù)據(jù)可視化等等各個環(huán)節(jié)的成本越來越高，這使得本身技術能力很強的公司都還是使用專業(yè)數(shù)據(jù)處理公司提供的服務，而將更多的人才和資源放到核心業(yè)務的開發(fā)上。

另外，就是各個公司對于數(shù)據(jù)處理的要求也越來越高。不僅僅需要有效的處理結果，也需要數(shù)據(jù)處理可以self-service、self-managing、保證數(shù)據(jù)安全性、完善實時分析。這些諸多需求也使得專業(yè)化團隊的優(yōu)勢更加突出。而這樣一條整合服務鏈的行程，也給眾多的大數(shù)據(jù)公司提供了機會。

即使存在很多投機貼標簽的人，即使一片片的大數(shù)據(jù)startups被拍死在沙灘上，即使Gartner預測大數(shù)據(jù)概念將被回歸現(xiàn)實，但相信會有更多的人投入到大數(shù)據(jù)這個行業(yè)，開發(fā)出更智能，更有影響力的產品。畢竟，大數(shù)據(jù)本身，不像一個單純的pitch那樣，它能夠保證的是一定可以中看并且中用。

硅谷巨頭們的大數(shù)據(jù)玩法

將一共呈現(xiàn)硅谷四大不同類型的公司如何玩轉大數(shù)據(jù)，其中包括了著名FLAG中的三家(Apple在大數(shù)據(jù)這塊來說表現(xiàn)并不突出)。

Evernote：今年新建AI部門劍指深度學習

Evernote的全球大會上，CEOPhilLibin提到，Evernote的一個重要方向就是“讓Evernote變成一個強大的大腦”。要實現(xiàn)這個目標，就不得不提他們剛剛整合改組的AugmentedIntelligence團隊(以下簡稱AIteam)。

是什么

Zeesha是這個團隊里元老級的人物：“我是在2012年加入Evernote的，直接加入到了當時剛剛建立的數(shù)據(jù)處理團隊，這也就是現(xiàn)在AIteam的雛形。我們最開始的項目都是簡單易行的小項目，比如按照你的個人打字方式來優(yōu)化用戶的輸入體驗。”

傳統(tǒng)意義上的AI指的是通過大量數(shù)據(jù)和算法讓機器學會分析并作出決定。而這里講到IA則是讓電腦進行一定量的運算，而終極目的是以之武裝人腦，讓人來更好的做決定。這兩個概念在具體實施中自然有不少相通之處，但是其出發(fā)點卻是完全不同的。

這個區(qū)別也是EvernoteAIteam的亮點所在。作為一個筆記記錄工具，Evernote與Google之類的搜索引擎相比，最大的區(qū)別就是它非常的個人化。用戶所儲存的筆記、網(wǎng)站鏈接、照片、視頻等都是他思維方式和關注點的體現(xiàn)。

從哪來

Zeesha小組的初衷便是，通過分析用戶儲存的筆記來學習其思維方式，然后以相同的模式從第三方數(shù)據(jù)庫(也就是互聯(lián)網(wǎng)上的各種開源信息)抽取信息推送給用戶，從而達到幫助用戶思考的過程。從這個意義上講，Zeesha版的未來Evernote更像是一個大腦的超級外掛，為人腦提供各種強大的可理解的數(shù)據(jù)支持。

到哪去

不用說，這樣一個新創(chuàng)團隊自然也面臨這諸多方面的挑戰(zhàn)。當下一個比較重要的技術難點就是Evernote用戶的數(shù)據(jù)量。雖然Evernote的用戶量已經達到了一億，但是由于整個團隊的關注點在個人化分析，外加隱私保護等諸多原因，AIteam并沒有做跨用戶的數(shù)據(jù)分析。

這樣做的結果就是團隊需要分析一億組各不相同的小數(shù)據(jù)組。比如，假設我只在Evernote上面存了10個筆記，那Evernote也應該能夠通過這些少量的數(shù)據(jù)來分析出有效結果。當然，這些技術的直接結果是用戶用Evernote越多，得到的個性化用戶體驗就越好。長期來講，也是一個可以增加用戶黏性的特點。

Facebook：大數(shù)據(jù)主要用于外部廣告精準投放和內部交流

Facebook有一個超過30人的團隊花了近4年的時間才建立了Facebook的數(shù)據(jù)處理平臺。如今，F(xiàn)acebook仍需要超過100名工程師來支持這個平臺的日常運行。可想而知，光是大數(shù)據(jù)分析的基礎設施就已經是一個耗時耗力的項目了。

Facebook的一大價值就在于其超過13.5億活躍用戶每天發(fā)布的數(shù)據(jù)。而其大數(shù)據(jù)部門經過七八年的摸索，才在2013年把部門的keyfoundation定位成廣告的精準投放，開始建了一整套自己的數(shù)據(jù)處理系統(tǒng)和團隊。并進行了一系列配套的收購活動，比如買下世界第二大廣告平臺Atlas。

目前公司超過30%的團隊，包括工程師、ProductManagers、BusinessAnalysts等多個職位人群每個月都一定會使用這項服務。這個數(shù)據(jù)處理平臺的建立讓各個不同部門之間可以通過數(shù)據(jù)容易地交流，明顯改變了公司的運行方式。

小扎克在2013年第一季度戰(zhàn)略時提到的最重點就是公司的大數(shù)據(jù)方向，還特別提出不對盈利做過多需求，而是要求基于大數(shù)據(jù)來做好以下三個功能：

·發(fā)布新的廣告產品。比如類似好友，管理特定好友和可以提升廣告商精確投放的功能。

·除與Datalogix,Epsilon,Acxiom和BlueKai合作外，以加強廣告商定向投放廣告的能力。

·通過收購AtlasAdvertisingSuite，加強廣告商判斷數(shù)字媒體廣告投資回報率(ROI)。

LinkedIn：大數(shù)據(jù)如何直接支持銷售和變現(xiàn)賺錢

LinkedIn大數(shù)據(jù)部門的一個重要功用是分析挖掘網(wǎng)站上巨大的用戶和雇主信息，并直接用來支持銷售并變現(xiàn)。其最核心團隊商業(yè)分析團隊的總監(jiān)SimonZhang說，現(xiàn)在國內大家都在討論云，討論云計算，討論大數(shù)據(jù)，討論大數(shù)據(jù)平臺，但很少有人講：我如何用數(shù)據(jù)產生更多價值，通俗點講，直接賺到錢。

但這個問題很重要，因為關系到直接收入。四年半前LinkedIn內所有用戶的簡歷里抽取出來大概有300萬公司信息，作為銷售人員不可能給每個公司都打電話，所以問題來了：哪家公司應該打?打了后會是個有用的call?

銷售們去問Simon，他說只有通過數(shù)據(jù)分析。而這個問題的答案在沒有大數(shù)據(jù)部門之前這些決策都是拍腦袋想象的。

Simon和當時部門僅有的另外三個同事寫出了一個模型后發(fā)現(xiàn)：真正買LinkedIn服務的人，在決定的那個環(huán)節(jié)上，其實是一線的產品經理，和用LinkedIn在上面獵聘的那些人。但他們做決策后是上面的老板簽字，這是一個迷惑項。數(shù)據(jù)分析結果出來后，他們銷售人員改變投放策略，把目標群體放在這些中層的管理人身上，銷售轉化率瞬間增加了三倍。

今天LinkedIn的“獵頭”這塊業(yè)務占據(jù)了總收入的60%。是怎么在四年里發(fā)展起來的，他透露當時建造這個模型有以下這么幾個步驟：

1.分析每個公司它有多少員工。

2.分析這個公司它招了多少人。

3.分析人的位置功能職位級別一切參數(shù)，這些都是我們模型里面的各種功能。

4.然后去分析，他們內部有多少HR員工，有多少負責獵頭的人，他們獵頭的流失率，他們每天在Linkedin的活動時間是多少。

這是LinkedIn大數(shù)據(jù)部門最早做的事情。

Simon講，公司內部從大數(shù)據(jù)分析這一個基本項上，可以不斷迭代出新產品線。LinkedIn的三大商業(yè)模型是人才解決方案、市場營銷解決方案和付費訂閱，也是我們傳統(tǒng)的三大收入支柱。事實上我們還有一個，也就是第四個商業(yè)模型，叫“銷售解決方案”，已經在今年7月底上線。這是賣給企業(yè)級用戶的。LinkedIn大數(shù)據(jù)系統(tǒng)是一個牛逼的模型，只需要改動里面一下關鍵字，或者一個參數(shù)，就可以變成另一個產品。“我們希望能幫到企業(yè)級用戶，讓他們在最快的速度里知道誰會想買你的東西。”

Google：一個閉環(huán)的大數(shù)據(jù)生態(tài)圈

2011年，Google推出了基于Google基礎架構為客戶提供大數(shù)據(jù)的查詢服務和存儲服務的BigQuery，有點類似于Amazon的AWS，雖然目前從市場占有率上看與AWS還不在一個數(shù)量級，但價格體系更有優(yōu)勢。Google通過這個迎上了互聯(lián)網(wǎng)公司拼服務的風潮，讓多家第三方服務中集成了BigQuery可視化查詢工具。搶占了大數(shù)據(jù)存儲和分析的市場。

BigQuery和GAE(GoogleAppEngine)等Google自有業(yè)務服務器構建了一個大數(shù)據(jù)生態(tài)圈，程序創(chuàng)建，數(shù)據(jù)收集，數(shù)據(jù)處理和數(shù)據(jù)分析等形成了閉環(huán)。再來看Google的產品線，搜索，廣告，地圖，圖像，音樂，視頻這些，都是要靠大數(shù)據(jù)來支撐，根據(jù)不同種類數(shù)據(jù)建立模型進行優(yōu)化來提升用戶體驗提升市場占有率的。

單獨說一下Googlemaps，這個全球在移動地圖市場擁有超過40%的市場占有率的產品，也是美國這邊的出行神器。它幾乎標示了全球有互聯(lián)網(wǎng)覆蓋的每個角落，對建筑物的3D視覺處理也早在去年就完成，這個數(shù)據(jù)處理的工作量可能是目前最大的了，但這也僅限于數(shù)據(jù)集中的層面。真正的數(shù)據(jù)分析和挖掘體現(xiàn)在：輸入一個地點時，最近被最多用戶采用的路徑會被最先推薦給用戶。

Google還把Google＋，Panoramio和其他Google云平臺的圖片進行了標記和處理，將圖片內容和地理位置信息地結合在一起，圖像識別和社交系統(tǒng)評分處理后，Google能夠把質量比較高的的圖片推送給用戶，優(yōu)化了用戶看地圖時的視覺感受。

大數(shù)據(jù)為Google帶來了豐厚的利潤，比如在美國你一旦上網(wǎng)就能感覺到時無處不在的Google廣告(AdSense)。當然，它是一把雙刃劍，給站長們帶來收入的同時，但如何平衡用戶隱私的問題，是大數(shù)據(jù)處理需要克服的又一個技術難關，或許還需要互聯(lián)網(wǎng)秩序的進一步完善去支持。

除Facebook等幾個很領先的公司外，大部分公司要么還沒有自行處理數(shù)據(jù)的能力。最后附上兩個例子，想說這邊的大公司沒有獨立大數(shù)據(jù)部門也是正常的，采取外包合作是普遍現(xiàn)象：

Pinterest：

Pinterest曾嘗試自行通過AmazonEMR建立數(shù)據(jù)處理平臺，但是因為其穩(wěn)定性無法控制和數(shù)據(jù)量增長過快的原因，最終決定改為使用Qubole提供的服務。在Qubole這個第三方平臺上，Pinterest有能力處理其0.7億用戶每天所產生的海量數(shù)據(jù)，并且能夠完成包括ETL、搜索、adhocquery等不同種類的數(shù)據(jù)處理方式。盡管Pinterest也是一個技術性公司，也有足夠優(yōu)秀的工程師來建立數(shù)據(jù)處理團隊，他們依然選擇了Qubole這樣的專業(yè)團隊來完成數(shù)據(jù)處理服務。

Nike:

不僅僅硅谷的互聯(lián)網(wǎng)公司，眾多傳統(tǒng)企業(yè)也逐漸開始使用大數(shù)據(jù)相關技術。一個典型的例子就是Nike。Nike從2012年起與API服務公司Apigee合作，一方面，他們通過Apigee的API完善公司內部的數(shù)據(jù)管理系統(tǒng)，讓各個部門的數(shù)據(jù)進行整合，使得公司內部運行更加順暢、有效率。另一方面，他們也通過API開發(fā)NikeFuelBand相關的移動產品。更是在2014年開啟了Nike＋FuelLab項目，開放了相關API，使得眾多的開放者可以利用Nike所收集的大量數(shù)據(jù)開發(fā)數(shù)據(jù)分析產品，成功地連接了Nike傳統(tǒng)的零售業(yè)務，新的科技開發(fā)，和大數(shù)據(jù)價值。