[ 億歐導(dǎo)讀 ]“檸檬車(chē)”通常用來(lái)形容有人買(mǎi)了一輛二手車(chē)后才發(fā)現(xiàn)其中有缺陷，讓人覺(jué)得像吃了檸檬后那種酸酸澀澀的難受的感覺(jué)。Carfax是一家美國(guó)中型電子商務(wù)與二手車(chē)大數(shù)據(jù)公司，其主要業(yè)務(wù)是通過(guò)互聯(lián)網(wǎng)消費(fèi)者提供二手車(chē)估值報(bào)告。

編者注：本文節(jié)選自《實(shí)戰(zhàn)大數(shù)據(jù)：DT時(shí)代智能組織工作方法》（中信出版集團(tuán)）一書(shū)。原文作者江曉東曾是Carfax創(chuàng)新核心項(xiàng)目的一員。本文主要以Carfax作為大數(shù)據(jù)業(yè)務(wù)應(yīng)用創(chuàng)新成功的案例，介紹一個(gè)兩人團(tuán)隊(duì)是如何從確認(rèn)和收集小數(shù)據(jù)開(kāi)始，直到做出壟斷歐美二手車(chē)市場(chǎng)的大數(shù)據(jù)產(chǎn)品全過(guò)程。

消滅“檸檬車(chē)”

美國(guó)經(jīng)濟(jì)學(xué)家喬治·阿克爾洛夫1970年發(fā)表的一篇著名的學(xué)術(shù)論文《檸檬市場(chǎng)：質(zhì)量不確定性和市場(chǎng)機(jī)制》。阿克爾洛夫在這篇論文中，把二手車(chē)市場(chǎng)作為在買(mǎi)賣(mài)雙方掌握的信息（數(shù)據(jù)）不對(duì)稱(chēng)條件下，導(dǎo)致二手車(chē)質(zhì)量不確定性的一個(gè)經(jīng)典經(jīng)濟(jì)學(xué)研究案例。“檸檬車(chē)”通常用來(lái)形容有人買(mǎi)了一輛二手車(chē)后才發(fā)現(xiàn)其中有缺陷，讓人覺(jué)得像吃了檸檬后那種酸酸澀澀的難受的感覺(jué)。為此，阿克爾洛夫與邁克爾·斯彭斯和約瑟夫·斯蒂格利茨一起分享了2001年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。

Carfax是一家美國(guó)中型電子商務(wù)與二手車(chē)大數(shù)據(jù)公司，其主要業(yè)務(wù)是通過(guò)互聯(lián)網(wǎng)向美國(guó)、加拿大和歐洲個(gè)人消費(fèi)者和企業(yè)提供二手車(chē)市場(chǎng)上轎車(chē)和輕型卡車(chē)車(chē)史報(bào)告。說(shuō)得通俗點(diǎn)，也就是讓買(mǎi)賣(mài)雙方知道他們交易的二手車(chē)是否為“檸檬車(chē)”并以此作為交易決策依據(jù)。

計(jì)算機(jī)專(zhuān)家巴尼特和會(huì)計(jì)師羅伯特·克拉克于1984年在美國(guó)密蘇里州的哥倫比亞市成立Carfax。該公司成立的初衷，即巴尼特意識(shí)到有些車(chē)主在出售汽車(chē)時(shí)惡意回?fù)芷?chē)?yán)锍瘫?。巴尼特和羅伯特·克拉克看到了這個(gè)問(wèn)題的嚴(yán)重性及其可能產(chǎn)生的巨大商機(jī)，決心用計(jì)算機(jī)技術(shù)來(lái)揭穿這種欺詐并以此為契機(jī)創(chuàng)立了自己的公司。

到2013年底，這家企業(yè)已擁有800多名員工，各種大數(shù)據(jù)產(chǎn)品和服務(wù)年產(chǎn)值估計(jì)達(dá)8億美元。它擁有的車(chē)史數(shù)據(jù)達(dá)110億條，而且每天都在以百萬(wàn)條的速度增加、更新。這些數(shù)據(jù)涵蓋全美國(guó)、加拿大和歐洲部分國(guó)家公路上行駛的轎車(chē)和輕型卡車(chē)，包括這些車(chē)輛的車(chē)主歷史統(tǒng)計(jì)、車(chē)禍記錄、是否被水淹過(guò)、是否被火燒過(guò)、是否別人偷來(lái)的車(chē)、里程表是否被人往回?fù)苓^(guò)、是否屬于召回檢查或問(wèn)題車(chē)以及日常保養(yǎng)的細(xì)節(jié)等等。

如今在美國(guó)或加拿大，你買(mǎi)到新車(chē)后第三個(gè)月，你的汽車(chē)注冊(cè)信息就會(huì)被輸入這家公司的大數(shù)據(jù)儲(chǔ)存工場(chǎng)里。然后你的汽車(chē)維修、保養(yǎng)、警察報(bào)告的車(chē)禍等相關(guān)信息就會(huì)源源不斷地被這家公司收集、歸類(lèi)，從而形成該車(chē)的車(chē)史檔案。在北美買(mǎi)賣(mài)二手車(chē)，無(wú)論是個(gè)人還是經(jīng)銷(xiāo)商，Carfax的車(chē)史報(bào)告是必不可少的重要參考。

確認(rèn)數(shù)據(jù)

無(wú)論企業(yè)或個(gè)人掌握的技術(shù)多先進(jìn)、多強(qiáng)大，做任何項(xiàng)目，弄清市場(chǎng)需求和業(yè)務(wù)用例永遠(yuǎn)是第一步。企業(yè)要想知道汽車(chē)的里程表是否準(zhǔn)確，邏輯上可以這樣實(shí)現(xiàn)：

在知道了該車(chē)出廠時(shí)間、歷任車(chē)主、每任車(chē)主擁有此車(chē)時(shí)的里程表具體讀數(shù)、該車(chē)平常的用途（出租、商用或自駕等用以估計(jì)其年平均里程數(shù)）等條件后，通過(guò)數(shù)據(jù)整合，進(jìn)而估算出該車(chē)的大致里程數(shù)。而企業(yè)要獲得這些數(shù)據(jù)就必須和多個(gè)機(jī)構(gòu)打交道，包括汽車(chē)制造商（擁有汽車(chē)原始身份信息即車(chē)輛識(shí)別號(hào)碼）、經(jīng)銷(xiāo)商（汽車(chē)身份信息和汽車(chē)購(gòu)買(mǎi)以及銷(xiāo)售時(shí)間信息等）及車(chē)管所（管理車(chē)主注冊(cè)數(shù)據(jù)包括汽車(chē)身份信息、注冊(cè)時(shí)間、車(chē)主信息、車(chē)主易手信息）等。例如，一個(gè)私家車(chē)主，每天正常上下班就在10平方公里范圍內(nèi)活動(dòng)，一年下來(lái)，年平均里程應(yīng)該就在1萬(wàn)公里左右。一輛車(chē)如果被開(kāi)了5年，其間沒(méi)有換車(chē)主，但里程表顯示只有2萬(wàn)公里，那么這輛車(chē)的里程表很可能就被回?fù)苓^(guò)。

以下這些簡(jiǎn)單的數(shù)據(jù)可以用來(lái)檢查一輛二手車(chē)的車(chē)主歷史記錄：

 汽車(chē)身份證號(hào)（VIN）

 顏色

 種類(lèi)

 系列

 車(chē)身類(lèi)型

 廠商

 數(shù)據(jù)類(lèi)型

 使用對(duì)象

 使用形式

 汽車(chē)購(gòu)進(jìn)日期

 汽車(chē)賣(mài)出日期

 里程表讀數(shù)

 數(shù)據(jù)記錄日期

帶著這個(gè)理念和所需要的數(shù)據(jù)要求，Carfax兩位創(chuàng)始人開(kāi)始上路了。

收集數(shù)據(jù)

收集和獲取大數(shù)據(jù)一般3個(gè)途徑，即購(gòu)買(mǎi)、整合利用現(xiàn)有大數(shù)據(jù)，或利用大數(shù)據(jù)工具在（移動(dòng)）互聯(lián)網(wǎng)和其他數(shù)據(jù)源里搜索、截獲所需數(shù)據(jù)，以及各種方法的混合使用。

Carfax的兩位創(chuàng)始人帶著自己的創(chuàng)意，信心十足地敲響了擁有汽車(chē)數(shù)據(jù)的政府服務(wù)機(jī)構(gòu)—密蘇里州哥倫比亞市的車(chē)管所的大門(mén)?？上О湍崽睾土_伯特的首戰(zhàn)失敗，按這個(gè)州的法律，除非有法庭介入，任何人都不能輕易獲得車(chē)主的隱私信息。

巴尼特和羅伯特·克拉克沒(méi)有放棄。他們打聽(tīng)到密蘇里州當(dāng)?shù)氐囊恍┢?chē)經(jīng)銷(xiāo)商協(xié)會(huì)（屬非營(yíng)利組織）有部分這方面的數(shù)據(jù)，并對(duì)他們講的故事感興趣。兩人隨即和這些協(xié)會(huì)取得聯(lián)系。由于汽車(chē)經(jīng)銷(xiāo)商協(xié)會(huì)是非營(yíng)利機(jī)構(gòu)，他們對(duì)這種數(shù)據(jù)要價(jià)不高。就這樣，通過(guò)改變數(shù)據(jù)采購(gòu)渠道及與這些汽車(chē)經(jīng)銷(xiāo)商協(xié)會(huì)的創(chuàng)造性合作，即以購(gòu)買(mǎi)源數(shù)據(jù)和交換數(shù)據(jù)的方式，巴尼特建立了簡(jiǎn)單的數(shù)據(jù)庫(kù)并創(chuàng)造出美國(guó)歷史上第一個(gè)汽車(chē)史檔案報(bào)告。Carfax與這些協(xié)會(huì)通過(guò)數(shù)據(jù)交換的方式，在免費(fèi)分享二手車(chē)報(bào)告的同時(shí)，又通過(guò)這些協(xié)會(huì)向其會(huì)員宣傳。很快，當(dāng)?shù)叵M(fèi)者在購(gòu)買(mǎi)二手車(chē)時(shí)對(duì)這個(gè)報(bào)告的需求就越來(lái)越多。

由于Carfax業(yè)務(wù)量持續(xù)增加，聲譽(yù)和影響逐漸傳出州外，不斷有外州消費(fèi)者和公司聯(lián)系希望他們也提供相關(guān)報(bào)告。Carfax開(kāi)始考慮向全美國(guó)推廣這項(xiàng)服務(wù)。Carfax這時(shí)采取了幾個(gè)重大有效的策略，包括雇用職業(yè)律師向各州法院要求各州政府在保護(hù)車(chē)主個(gè)人隱私信息的前提下，允許其開(kāi)放二手車(chē)數(shù)據(jù)；雇用職業(yè)游說(shuō)經(jīng)理人到法律嚴(yán)格的州議會(huì)，說(shuō)服其通過(guò)相關(guān)法律使各地政府車(chē)管所、公路交通安全管理局、警察局和消防局開(kāi)放其二手車(chē)數(shù)據(jù)。

在市場(chǎng)推銷(xiāo)方面，公司成功通過(guò)“口碑推薦”的營(yíng)銷(xiāo)方式，將全美各地汽車(chē)經(jīng)銷(xiāo)商協(xié)會(huì)逐一攻破。他們以收購(gòu)和數(shù)據(jù)交換的方式，拿到了這些汽車(chē)經(jīng)銷(xiāo)商協(xié)會(huì)掌握的所有二手車(chē)數(shù)據(jù)。美國(guó)加州保護(hù)消費(fèi)者隱私的法律比較嚴(yán)，他們尋求公開(kāi)汽車(chē)信息數(shù)據(jù)遲遲未果，最后只好訴諸法庭，控告加州政府阻撓數(shù)據(jù)公開(kāi)，經(jīng)過(guò)整整4年時(shí)間，最終于2004年達(dá)成一個(gè)雙方都滿(mǎn)意的解決方案。時(shí)任州長(zhǎng)的施瓦辛格最后在法律文件上簽字，他們獲得夢(mèng)寐以求的、除去用戶(hù)隱私的汽車(chē)大數(shù)據(jù)，業(yè)務(wù)也因此在加州蓬勃展開(kāi)。

存儲(chǔ)數(shù)據(jù)

從接觸汽車(chē)數(shù)據(jù)開(kāi)始，Carfax收集到的數(shù)據(jù)就有規(guī)則和非規(guī)則兩種:

規(guī)則數(shù)據(jù)：一般從可提供規(guī)范數(shù)據(jù)的汽車(chē)經(jīng)銷(xiāo)商、保險(xiǎn)公司、車(chē)行、車(chē)管所、警察局等處購(gòu)得。這些機(jī)構(gòu)有自己的數(shù)據(jù)人才和技術(shù)，可以按合同把其擁有的數(shù)據(jù)做成非常規(guī)范的、Carfax認(rèn)可的格式，以便Carfax能直接導(dǎo)入自己的數(shù)據(jù)庫(kù)中儲(chǔ)存。

非規(guī)則數(shù)據(jù)：例如大致可以看清車(chē)牌號(hào)的汽車(chē)圖片（被報(bào)失竊的汽車(chē)，被水淹過(guò)的汽車(chē)等）、保存在磁卡上的汽車(chē)記錄、一大堆從事故車(chē)上拆下來(lái)的車(chē)牌照片、手寫(xiě)的各種汽車(chē)保修單復(fù)印件等，Carfax通常是從各種專(zhuān)業(yè)的連鎖汽修店、汽車(chē)事故數(shù)據(jù)收集網(wǎng)站等地方廉價(jià)購(gòu)得這些數(shù)據(jù)。

這些非常規(guī)的數(shù)據(jù)才是Carfax競(jìng)爭(zhēng)獲勝的秘密武器。因?yàn)橐?guī)范的數(shù)據(jù)誰(shuí)都可以輕易獲取。而這些不規(guī)范的數(shù)據(jù)中往往藏有特殊的價(jià)值。企業(yè)只有花大量功夫才能把藏在這些數(shù)據(jù)里的、有特殊價(jià)值的信息挖掘出來(lái)。舉個(gè)簡(jiǎn)單例子，一輛車(chē)被偷了，警察不知道，或其被盜記錄還沒(méi)有正式記錄在案，而失主把失竊的愛(ài)車(chē)照片發(fā)布在互聯(lián)網(wǎng)上特定的汽車(chē)論壇里了。Carfax通過(guò)掃描技術(shù)，定期到網(wǎng)上尋找這類(lèi)信息。他們找到這類(lèi)圖片后，把其中的車(chē)牌號(hào)跟相關(guān)車(chē)管所的車(chē)牌號(hào)比對(duì)，從而獲得這款車(chē)的身份號(hào)（VIN），再到數(shù)據(jù)庫(kù)中自動(dòng)比對(duì)其他信息。等到車(chē)輛所需的信息完全確認(rèn)后，這款車(chē)就上了Carfax被盜車(chē)黑名單。買(mǎi)車(chē)的人或車(chē)行一查Carfax車(chē)史報(bào)告就知道這是贓物，不能買(mǎi)。他們每年還通過(guò)這種服務(wù)幫警察抓盜車(chē)賊。

Carfax通常采用以下方法來(lái)儲(chǔ)藏這兩種類(lèi)數(shù)據(jù)：

 對(duì)規(guī)則數(shù)據(jù)，采用VMS這種傳統(tǒng)的大型機(jī)服務(wù)器來(lái)儲(chǔ)存各種各樣的原始數(shù)據(jù)和報(bào)表。優(yōu)點(diǎn)是穩(wěn)定性和可靠性強(qiáng)，不容易被黑客攻擊等。

 像其他企業(yè)一樣使用關(guān)系數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)規(guī)則數(shù)據(jù)。設(shè)計(jì)開(kāi)發(fā)自己的Oracle數(shù)據(jù)庫(kù)和數(shù)據(jù)工場(chǎng)及各種數(shù)據(jù)集市等。

 對(duì)不規(guī)則的數(shù)據(jù)則用各種大型磁盤(pán)、特殊軟件來(lái)保存。

隨著時(shí)間的推移，這些大量的非規(guī)則數(shù)據(jù)積累起來(lái)，其價(jià)值越來(lái)越重要。Carfax擁有的數(shù)據(jù)總量也從2002年的兩億條，突飛猛進(jìn)到2012年的100億條。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)工場(chǎng)都已經(jīng)無(wú)法有效駕馭這些真正的大數(shù)據(jù)了。

經(jīng)過(guò)數(shù)月的評(píng)估和爭(zhēng)論后，到2013年春天，企業(yè)高層終于決定放棄原來(lái)的老數(shù)據(jù)庫(kù)平臺(tái)和VMS大型機(jī)，采用時(shí)下流行的、開(kāi)放源代碼基礎(chǔ)上的文本數(shù)據(jù)庫(kù)。所有數(shù)據(jù)逐步轉(zhuǎn)入MonoDB的NoSQL數(shù)據(jù)庫(kù)，同時(shí)更新50多個(gè)服務(wù)器、10幾個(gè)超級(jí)硬盤(pán)和6個(gè)節(jié)點(diǎn)。

如今，Carfax從7.6萬(wàn)個(gè)數(shù)據(jù)源獲得的海量二手車(chē)數(shù)據(jù)，無(wú)論格式如何，都可以先直接丟進(jìn)這個(gè)新的、超大型數(shù)據(jù)庫(kù)系統(tǒng)里。他們接著再對(duì)源數(shù)據(jù)進(jìn)行清理、整合、重構(gòu)、重新定義、分門(mén)別類(lèi)、建立新老數(shù)據(jù)間關(guān)聯(lián)關(guān)系，然后把所有大數(shù)據(jù)儲(chǔ)存在五個(gè)出租場(chǎng)地、跨區(qū)域的超大型數(shù)據(jù)（存儲(chǔ)）中心，以便進(jìn)行下一步的數(shù)據(jù)分析、管理和產(chǎn)品設(shè)計(jì)。這五個(gè)大型數(shù)據(jù)中心里，其中兩個(gè)做內(nèi)部數(shù)據(jù)支持，其他三個(gè)中心則對(duì)外支持企業(yè)和個(gè)人用戶(hù)市場(chǎng)。他們同時(shí)還額外租用了一個(gè)第三方主機(jī)托管做數(shù)據(jù)備份。這種存儲(chǔ)結(jié)構(gòu)除了大幅度提高數(shù)據(jù)存儲(chǔ)的方便性和靈活性外，這三個(gè)中心每個(gè)承擔(dān)約33%的數(shù)據(jù)承載量，可以對(duì)用戶(hù)的搜尋需求提供迅速及時(shí)的反應(yīng)。

管理數(shù)據(jù)

儲(chǔ)存大數(shù)據(jù)后，如何有效管理大數(shù)據(jù)是另外一個(gè)挑戰(zhàn)。數(shù)據(jù)管理職能往往包括對(duì)所獲大數(shù)據(jù)的審計(jì)、剖析、清洗、分類(lèi)、更新、模式化、風(fēng)險(xiǎn)管理和用戶(hù)權(quán)限管理等各項(xiàng)內(nèi)容。

由于二手車(chē)報(bào)告上的數(shù)據(jù)來(lái)自不同的數(shù)據(jù)源，企業(yè)對(duì)其進(jìn)行數(shù)據(jù)集成和數(shù)據(jù)變換是數(shù)據(jù)日常管理中至關(guān)重要的一環(huán)。在把各方收集到的源數(shù)據(jù)通過(guò)分辨、確認(rèn)、清洗、集成、變換和存儲(chǔ)進(jìn)數(shù)據(jù)庫(kù)以前，商務(wù)分析和管理人士需要對(duì)其進(jìn)行“審計(jì)”，即確認(rèn)供應(yīng)商提供的數(shù)據(jù)是否與其合同承諾的相符，如源數(shù)據(jù)數(shù)目是否吻合、格式是否符合期望的標(biāo)準(zhǔn)、數(shù)據(jù)可用、不可用的比例如何，源數(shù)據(jù)與企業(yè)的商業(yè)用途是否高度相關(guān)，源數(shù)據(jù)的質(zhì)量如何，是否有無(wú)法辨認(rèn)的數(shù)字、文字、不完整的汽車(chē)事故和保修記錄描述等。

其次是“數(shù)據(jù)剖析分析”，即對(duì)源數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，從中發(fā)現(xiàn)諸如有多少數(shù)據(jù)可以用在企業(yè)正在進(jìn)行和未來(lái)規(guī)劃的產(chǎn)品中等。

“數(shù)據(jù)清洗”工作往往由數(shù)據(jù)分析師來(lái)完成。他們要檢查所有數(shù)據(jù)，看其是否符合基本格式要求，是否含有那些最重要的數(shù)據(jù)單位，如車(chē)輛識(shí)別代號(hào)（VIN），跟此汽車(chē)相關(guān)的重要事件（如重大保修，召回等）、任何事故的日期及其描述記錄等。繼而通過(guò)數(shù)據(jù)庫(kù)程序把符合要求的、可用的數(shù)據(jù)提取出來(lái)，把可修正的數(shù)據(jù)修正好，剩余無(wú)法利用的數(shù)據(jù)可能會(huì)退回?cái)?shù)據(jù)供應(yīng)商。

數(shù)據(jù)清洗完成后，數(shù)據(jù)分析師就通過(guò)軟件程序把數(shù)據(jù)輸入數(shù)據(jù)庫(kù)，并按“公用來(lái)源–從政府那里獲得的數(shù)據(jù)”和“私有來(lái)源–從非政府渠道獲得的數(shù)據(jù)”區(qū)分開(kāi)來(lái)。“數(shù)據(jù)分類(lèi)”的其他方面是把數(shù)據(jù)按業(yè)務(wù)歸屬、保密屬性、可公開(kāi)程度、用戶(hù)支持和訪問(wèn)權(quán)限等分門(mén)別類(lèi)，從而在需要之時(shí)便于搜索查詢(xún)和跟蹤其使用情況。隨著企業(yè)通過(guò)開(kāi)發(fā)大數(shù)據(jù)進(jìn)入不同業(yè)務(wù)領(lǐng)域的需求日益增加，對(duì)海量數(shù)據(jù)進(jìn)行快速分類(lèi)和關(guān)聯(lián)的任務(wù)就越來(lái)越重要。分類(lèi)原則和指導(dǎo)方向也會(huì)隨著業(yè)務(wù)的變化而變化，并由此影響未來(lái)數(shù)據(jù)庫(kù)的設(shè)計(jì)和更新。

在管理海量數(shù)據(jù)時(shí)，企業(yè)不同業(yè)務(wù)部門(mén)會(huì)使用和接觸相同的數(shù)據(jù)，這些數(shù)據(jù)可能會(huì)經(jīng)過(guò)計(jì)算衍生出新的數(shù)據(jù)，由于每個(gè)員工來(lái)自不同的業(yè)務(wù)背景，在用自己熟悉的業(yè)務(wù)術(shù)語(yǔ)來(lái)詮釋這些數(shù)據(jù)并進(jìn)行內(nèi)部溝通和交流時(shí)，為了提高效率和避免溝通中產(chǎn)生歧義，還需要制定企業(yè)內(nèi)部統(tǒng)一的元數(shù)據(jù)規(guī)則和數(shù)據(jù)字典。有了這些數(shù)據(jù)管理工具，每個(gè)員工都可以很清晰地知道到哪里可以找到自己想要的數(shù)據(jù)、它們的記錄如何演變、它們的專(zhuān)業(yè)定義如何、它們背后的計(jì)算公式是什么、衍生出的邏輯關(guān)聯(lián)如何、誰(shuí)有權(quán)可以更改這些數(shù)據(jù)等。

數(shù)據(jù)模式化是數(shù)據(jù)庫(kù)管理工作中非常重要的步驟。在掌握了二手車(chē)的大量相關(guān)數(shù)據(jù)后，我們會(huì)對(duì)其進(jìn)行分析、抽象，從中找出圍繞著包括汽車(chē)身份代號(hào)（VIN）、相關(guān)核心業(yè)務(wù)（如二手車(chē)經(jīng)銷(xiāo)商、保修公司、保險(xiǎn)公司、銀行等）在內(nèi)的各種信息間的關(guān)聯(lián)關(guān)系，進(jìn)而確定其數(shù)據(jù)庫(kù)、數(shù)據(jù)工場(chǎng)和數(shù)據(jù)集合的架構(gòu)，通過(guò)邏輯和物理建模手段最終創(chuàng)建和實(shí)現(xiàn)對(duì)應(yīng)的中央控制或分布式數(shù)據(jù)儲(chǔ)存方式。數(shù)據(jù)管理的范疇往往包括數(shù)據(jù)更新、模型再設(shè)計(jì)、結(jié)構(gòu)調(diào)整、最優(yōu)化、性能調(diào)試、報(bào)表生成和風(fēng)險(xiǎn)管理等職能。每天輸入數(shù)據(jù)庫(kù)的這些數(shù)據(jù)在經(jīng)過(guò)了一系列的格式化、歸類(lèi)處理后，就變成了Carfax龐大資產(chǎn)的重要部分。

分析計(jì)算數(shù)據(jù)

Carfax在面對(duì)自己擁有和管理的海量二手車(chē)數(shù)據(jù)時(shí)，如何分析并找出其中的特殊價(jià)值？

筆者當(dāng)年所在的產(chǎn)品研發(fā)團(tuán)隊(duì)主要日常任務(wù)就是根據(jù)客戶(hù)和企業(yè)的戰(zhàn)略規(guī)劃需求，通過(guò)數(shù)據(jù)分析和計(jì)算方法，去驗(yàn)證來(lái)自管理層、市場(chǎng)部和推銷(xiāo)部門(mén)的一個(gè)個(gè)假設(shè)，發(fā)現(xiàn)藏在這些數(shù)據(jù)背后的模式、數(shù)據(jù)鏈關(guān)系圖、未知的數(shù)據(jù)關(guān)聯(lián)性等。

我們起初所有的分析都圍繞一部車(chē)的歷史細(xì)節(jié)，屬于“向后看”式分析。后來(lái)，慢慢開(kāi)始通過(guò)數(shù)據(jù)的歷史沉淀，在找到相關(guān)二手車(chē)可靠性和安全性數(shù)據(jù)后，結(jié)合政府的汽車(chē)碰撞試驗(yàn)數(shù)據(jù)，形成了對(duì)某些車(chē)型及其系列的“安全可靠性”分析，開(kāi)始朝“向前看”的預(yù)測(cè)式方向靠近，從而使買(mǎi)主在購(gòu)買(mǎi)二手車(chē)時(shí)，可以在參考某類(lèi)車(chē)的歷史和其他綜合指標(biāo)后，對(duì)其未來(lái)幾年的使用做最靠譜的判斷，從而做出最明智的購(gòu)車(chē)選擇。

Carfax的數(shù)據(jù)分析師和產(chǎn)品團(tuán)隊(duì)成員往往混雜在一起，他們根據(jù)具體業(yè)務(wù)需求與市場(chǎng)、銷(xiāo)售、運(yùn)營(yíng)部門(mén)緊密合作，這些都使得以業(yè)務(wù)變化為導(dǎo)向的數(shù)據(jù)分析更接近市場(chǎng)需求。對(duì)于同一部車(chē)不同的車(chē)史產(chǎn)品供應(yīng)商而言，誰(shuí)擁有的數(shù)據(jù)越多越全，數(shù)據(jù)分析結(jié)果越詳細(xì)，誰(shuí)就擁有絕對(duì)的競(jìng)爭(zhēng)優(yōu)勢(shì)。在大數(shù)據(jù)產(chǎn)品的競(jìng)爭(zhēng)市場(chǎng)里，價(jià)格戰(zhàn)的策略派不上太大用場(chǎng)。用戶(hù)不會(huì)為了省錢(qián)，冒險(xiǎn)去買(mǎi)數(shù)據(jù)不全的產(chǎn)品。

筆者2002年進(jìn)入Carfax數(shù)據(jù)研發(fā)團(tuán)隊(duì)時(shí)，其核心產(chǎn)品“車(chē)史報(bào)告”上還沒(méi)有汽車(chē)保修記錄這項(xiàng)內(nèi)容。雖然企業(yè)高層早就想把這些內(nèi)容加進(jìn)去，但由于大部分保修記錄屬于半規(guī)則性數(shù)據(jù)，市場(chǎng)上沒(méi)有一家企業(yè)能順利處理這類(lèi)數(shù)據(jù)（也就是今天意義上的大數(shù)據(jù)）。當(dāng)時(shí)公司只是知道這種數(shù)據(jù)非常重要，花了大價(jià)錢(qián)購(gòu)買(mǎi)了上億條這類(lèi)數(shù)據(jù)存起來(lái)，閑置但又占儲(chǔ)存空間。

當(dāng)時(shí)Carfax買(mǎi)來(lái)的這些半規(guī)則數(shù)據(jù)有幾千萬(wàn)條，要求三個(gè)月內(nèi)完成從數(shù)據(jù)分析到提取有價(jià)值數(shù)據(jù)，到完成初步分析報(bào)告的全過(guò)程。筆者跟研發(fā)團(tuán)隊(duì)其他成員經(jīng)過(guò)詳細(xì)討論和辯論，決定先去掉與此項(xiàng)目業(yè)務(wù)要求不相關(guān)的數(shù)據(jù)。我用數(shù)據(jù)庫(kù)編程和統(tǒng)計(jì)軟件把各種跟汽車(chē)識(shí)別號(hào)、汽車(chē)保修記錄與日期相關(guān)的關(guān)鍵名詞/組及其描述、相關(guān)的動(dòng)詞等提取出來(lái)，如“潤(rùn)滑”“機(jī)油”“泵”“發(fā)動(dòng)機(jī)”“變速器”“點(diǎn)火”“空氣囊”“安全制動(dòng)”“制動(dòng)器”“轉(zhuǎn)向”“活塞連桿”“燃油”“轉(zhuǎn)換”“裝”“卸”“拆”等。然后把它們相關(guān)的整句提取出來(lái)。這個(gè)過(guò)程結(jié)束后，就只剩一千多萬(wàn)條與汽車(chē)保修直接相關(guān)的有用數(shù)據(jù)了。

數(shù)據(jù)產(chǎn)品研發(fā)

雖然大數(shù)據(jù)工具在日新月異地變化，但是駕馭數(shù)據(jù)分析和算法邏輯的能力是形成這類(lèi)產(chǎn)品的關(guān)鍵。Carfax的幾大核心產(chǎn)品中，“熱賣(mài)二手車(chē)”是市場(chǎng)部與數(shù)據(jù)分析團(tuán)隊(duì)合作的一個(gè)經(jīng)典。傳統(tǒng)來(lái)說(shuō)，汽車(chē)經(jīng)銷(xiāo)商只是付年費(fèi)給Carfax以便使用其車(chē)史報(bào)告。為了留住客戶(hù)，Carfax通過(guò)對(duì)一些企業(yè)客戶(hù)歷年的銷(xiāo)售業(yè)績(jī)、車(chē)型及其車(chē)史報(bào)告關(guān)聯(lián)分析，發(fā)現(xiàn)很多買(mǎi)車(chē)人對(duì)每月的促銷(xiāo)并不總是很在意，除非價(jià)錢(qián)與別的商家相差太大。但當(dāng)經(jīng)銷(xiāo)商同時(shí)提供促銷(xiāo)車(chē)的免費(fèi)車(chē)史報(bào)告后，買(mǎi)車(chē)人的購(gòu)車(chē)意愿就大大增強(qiáng)了。Carfax于是嘗試性地把車(chē)史特別報(bào)告植入其線上促銷(xiāo)廣告中，結(jié)果該經(jīng)銷(xiāo)商當(dāng)月的銷(xiāo)售量大大增加。

就這樣，Carfax為大批汽車(chē)經(jīng)銷(xiāo)商設(shè)計(jì)和量身定制了“熱賣(mài)二手車(chē)”促銷(xiāo)輔助產(chǎn)品。這款產(chǎn)品與汽車(chē)經(jīng)銷(xiāo)商月銷(xiāo)售二手車(chē)?yán)壌黉N(xiāo)，在幫助其快速售出當(dāng)月促銷(xiāo)產(chǎn)品的同時(shí)，鞏固了客戶(hù)忠誠(chéng)度，提高了客戶(hù)滿(mǎn)意度，迫使競(jìng)爭(zhēng)對(duì)手跟進(jìn)，同時(shí)為Carfax開(kāi)辟新的營(yíng)利渠道。

處理海量半規(guī)則、非規(guī)則數(shù)據(jù)在2003年還不像今天這樣有眾多方便的工具可供選擇，Carfax之所以能比所有對(duì)手提前兩年做出產(chǎn)品來(lái)，全靠杰出的數(shù)據(jù)分析和算法邏輯能力作為后盾。

此后，他們還與企業(yè)客戶(hù)一起開(kāi)發(fā)了大數(shù)據(jù)協(xié)同解決方案，研發(fā)了一系列成功的創(chuàng)新產(chǎn)品。其中與銀行和保險(xiǎn)業(yè)合作的大數(shù)據(jù)產(chǎn)品特別值得一提。大多數(shù)美國(guó)人買(mǎi)車(chē)都要從銀行貸款、買(mǎi)車(chē)險(xiǎn)。對(duì)于二手車(chē)來(lái)說(shuō)，貸款和保險(xiǎn)數(shù)額取決于個(gè)人征信（大數(shù)據(jù)當(dāng)下在中國(guó)的另類(lèi)火爆應(yīng)用，美國(guó)已非常成熟）和該車(chē)的歷史記錄。而Carfax作為行業(yè)領(lǐng)軍企業(yè)，其20多年的大數(shù)據(jù)產(chǎn)品創(chuàng)新成績(jī)是當(dāng)然的合作選擇。由于他們擁有全北美和歐洲發(fā)達(dá)國(guó)家的大部分二手車(chē)記錄，其創(chuàng)新做法也非常直截了當(dāng)。Carfax先為合作銀行和保險(xiǎn)公司等客戶(hù)設(shè)置專(zhuān)屬賬號(hào)，再根據(jù)銀行和保險(xiǎn)公司提供的二手車(chē)樣本數(shù)據(jù)，很快調(diào)出這些車(chē)的詳細(xì)歷史數(shù)據(jù)。

創(chuàng)新團(tuán)隊(duì)依據(jù)這些客戶(hù)的眾多業(yè)務(wù)原則，與客戶(hù)一起決定數(shù)據(jù)的篩選，對(duì)數(shù)據(jù)分析和計(jì)算制定詳細(xì)的規(guī)則，把300多條規(guī)則（計(jì)算公式）植入客戶(hù)對(duì)應(yīng)的不同業(yè)務(wù)里（如商業(yè)銀行、信用社、保險(xiǎn)、財(cái)產(chǎn)擔(dān)保和專(zhuān)業(yè)汽車(chē)貸款等），進(jìn)行相關(guān)數(shù)據(jù)演算。他們最終為不同行業(yè)、不同企業(yè)定制了不同的車(chē)史報(bào)告產(chǎn)品，為客戶(hù)在批準(zhǔn)合理的汽車(chē)貸款、保險(xiǎn)和擔(dān)保額方面提供精準(zhǔn)的數(shù)據(jù)支持。

Carfax的創(chuàng)新案例對(duì)于中國(guó)的大數(shù)據(jù)創(chuàng)新有很多特別的啟發(fā)意義。根據(jù)Carfax的調(diào)查，當(dāng)一個(gè)國(guó)家的二手車(chē)數(shù)量達(dá)到千萬(wàn)輛后，車(chē)史報(bào)告就開(kāi)始出現(xiàn)市場(chǎng)需求了。進(jìn)入2015年，隨著政府和社會(huì)對(duì)大數(shù)據(jù)技術(shù)及其運(yùn)用的廣泛重視，無(wú)論今后國(guó)內(nèi)是否能出現(xiàn)類(lèi)似Carfax的產(chǎn)品，最關(guān)鍵的是——一個(gè)開(kāi)放的大數(shù)據(jù)環(huán)境，對(duì)企業(yè)、政府和個(gè)人做創(chuàng)新都至關(guān)重要。

本文選自《實(shí)戰(zhàn)大數(shù)據(jù)：DT時(shí)代智能組織工作方法》（中信出版集團(tuán)）