《影響中國(guó)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)程100人》第85期 黃暉：創(chuàng)新引領(lǐng)國(guó)內(nèi)大數(shù)據(jù)分析挖掘發(fā)展
發(fā)布日期：2017-02-042016年3月，由中國(guó)首席數(shù)據(jù)官聯(lián)盟發(fā)起，北京大學(xué)信息化與信息管理研究中心、中國(guó)新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟協(xié)辦的“影響中國(guó)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)程100人”大型人物專訪活動(dòng)全面啟動(dòng)，被采訪對(duì)象分別來(lái)自政府、產(chǎn)、學(xué)、研、企各個(gè)領(lǐng)域，他們將從不同角度，不同層面向大家闡述當(dāng)前大數(shù)據(jù)產(chǎn)業(yè)熱點(diǎn)、難點(diǎn)、疑點(diǎn)問(wèn)題，為中國(guó)大數(shù)據(jù)產(chǎn)業(yè)健康、持續(xù)發(fā)展探索經(jīng)驗(yàn)、保駕護(hù)航！
黃暉，首席數(shù)據(jù)官聯(lián)盟專家組成員，上海天律信息技術(shù)有限公司CEO。美國(guó)北卡羅來(lái)納大學(xué)信息社會(huì)學(xué)博士、上海市信息學(xué)會(huì)會(huì)長(zhǎng)、上海市領(lǐng)軍人才、國(guó)務(wù)院特殊津貼專家。長(zhǎng)期從事大數(shù)據(jù)分析挖掘和機(jī)器學(xué)習(xí)算法研究，帶領(lǐng)團(tuán)隊(duì)成功開(kāi)發(fā)出中國(guó)第一套大數(shù)據(jù)分析挖掘軟件“馬克威分析系統(tǒng)”和“馬克威云挖掘軟件”。曾任美國(guó)MBNA銀行數(shù)據(jù)挖掘顧問(wèn)、美國(guó)FirstUSA銀行數(shù)據(jù)挖掘咨詢顧問(wèn)、美國(guó)醫(yī)學(xué)科學(xué)院數(shù)據(jù)挖掘咨詢顧問(wèn)等，在北美的信息社會(huì)學(xué)以及數(shù)據(jù)挖掘領(lǐng)域擁有超過(guò)十年的工程和管理經(jīng)驗(yàn)。
首席數(shù)據(jù)官聯(lián)盟：作為大數(shù)據(jù)分析挖掘資深專家，近些年數(shù)據(jù)分析挖掘技術(shù)發(fā)展及工具變遷是怎樣的？
數(shù)據(jù)分析挖掘技術(shù)的發(fā)展經(jīng)歷了五個(gè)階段，最初的數(shù)據(jù)分析工具主要是針對(duì)關(guān)系型數(shù)據(jù)庫(kù)和文本格式的數(shù)據(jù)集。當(dāng)多個(gè)數(shù)據(jù)庫(kù)出現(xiàn)以后，就有了數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）的產(chǎn)生以及針對(duì)數(shù)據(jù)倉(cāng)庫(kù)挖掘分析的需求。當(dāng)數(shù)據(jù)量達(dá)到TB和PB時(shí)，以Hadoop為代表的分布式數(shù)據(jù)存儲(chǔ)和云架構(gòu)蜂擁而出，針對(duì)云端大數(shù)據(jù)的分析挖掘逐漸成為主流。然而，Hadoop架構(gòu)在處理實(shí)時(shí)數(shù)據(jù)時(shí)出現(xiàn)不足，隨之出現(xiàn)了以SPARK為代表的分布式內(nèi)存計(jì)算技術(shù)，解決了數(shù)據(jù)處理過(guò)程中實(shí)時(shí)性的問(wèn)題。當(dāng)前，流數(shù)據(jù)的處理和計(jì)算正收到歡迎，以STORM為代表的流式大數(shù)據(jù)處理技術(shù)受到越來(lái)越多人的關(guān)注?？偠灾?，數(shù)據(jù)分析挖掘技術(shù)隨著數(shù)據(jù)量及數(shù)據(jù)形態(tài)的不斷變化而不斷進(jìn)步。
就數(shù)據(jù)分析工具的演變和發(fā)展而言，大致可以分為三代：
1.數(shù)據(jù)找算法時(shí)代，即基于關(guān)系型數(shù)據(jù)庫(kù)的分析軟件：以SAS,SPSS和馬克威分析軟件為代表。
馬克威作為國(guó)產(chǎn)分析軟件，屬中國(guó)第一套完全自主知識(shí)產(chǎn)權(quán)的全中文統(tǒng)計(jì)分析和數(shù)據(jù)挖掘軟件。經(jīng)中國(guó)統(tǒng)計(jì)學(xué)會(huì)認(rèn)證，該軟件的算法是科學(xué)準(zhǔn)確的，計(jì)算結(jié)果與國(guó)際同類成熟軟件的計(jì)算結(jié)果一致。
2.算法找數(shù)據(jù)時(shí)代，即分布式挖掘軟件：以馬克威運(yùn)挖掘軟件、Mahout以及部分R程序?yàn)榇恚?/span>
在分布式計(jì)算時(shí)代，馬克威已經(jīng)超越了傳統(tǒng)分析軟件巨頭。競(jìng)爭(zhēng)對(duì)手變?yōu)殚_(kāi)源組織R和Mahout。傳統(tǒng)分析軟件由于不能針對(duì)分布式集群進(jìn)行分析挖掘而正在淡出新一代分析師的視野。而R和Mahout僅有少量分布式算法，且作為開(kāi)源組織，他們不保證計(jì)算結(jié)果的準(zhǔn)確性，不提供技術(shù)支持和售后服務(wù)，需要用英文寫代碼進(jìn)行操作。馬克威云挖掘軟件已包含近百種分布式算法，且數(shù)量仍在不斷增加，操作界面采用拖拽的方式建立工作流，不用寫代碼，中文界面便于操作，軟件內(nèi)包括模型庫(kù)，可做到一次建模，多次利用，支持二次開(kāi)發(fā)。
3.算法互聯(lián)網(wǎng)平臺(tái)化時(shí)代：以馬克威算法交易平臺(tái)為代表。
馬克威算法交易平臺(tái)（www.markwaymall.com）作為中國(guó)第一個(gè)大型數(shù)據(jù)分析算法和應(yīng)用模型共享平臺(tái)于2016年12月16日正式上線。該平臺(tái)包含大量獨(dú)立封裝的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法工具，適應(yīng)各種運(yùn)行環(huán)境，海納各種行業(yè)大數(shù)據(jù)應(yīng)用模型，匯集全球開(kāi)源算法和工具軟件，提供豐富全面的數(shù)據(jù)分析知識(shí)庫(kù)，為數(shù)據(jù)分析和人工智能開(kāi)發(fā)提供一站式服務(wù)，助力中國(guó)智能化的發(fā)展以及企業(yè)決策科學(xué)化。
首席數(shù)據(jù)官聯(lián)盟：從數(shù)據(jù)分析到云挖掘再到算法交易平臺(tái)，天律公司過(guò)去15年間進(jìn)行了三次產(chǎn)品飛躍，可謂與時(shí)俱進(jìn)。請(qǐng)問(wèn)當(dāng)時(shí)這些新品推出背后，您的商業(yè)推斷和市場(chǎng)發(fā)現(xiàn)是什么？（換言之：您是如何做到的？）
在美國(guó)學(xué)習(xí)和工作期間，我曾參與多個(gè)數(shù)據(jù)分析挖掘項(xiàng)目，深刻體會(huì)到數(shù)據(jù)挖掘?qū)τ谝粋€(gè)企業(yè)，乃至一個(gè)國(guó)家的發(fā)展具有無(wú)法估量的作用。而當(dāng)時(shí)的中國(guó)還沒(méi)有意識(shí)到數(shù)據(jù)挖掘的重要性，數(shù)據(jù)分析也僅停留在依賴國(guó)外軟件的階段，對(duì)于數(shù)據(jù)安全性及數(shù)據(jù)價(jià)值并沒(méi)有特別關(guān)注。2001年，我回國(guó)創(chuàng)業(yè)，第一件事就是想填補(bǔ)中國(guó)數(shù)據(jù)分析行業(yè)的空白，打造一款純國(guó)產(chǎn)的數(shù)據(jù)分析工具。2003年，馬克威分析系統(tǒng)成功問(wèn)世，當(dāng)中國(guó)統(tǒng)計(jì)學(xué)會(huì)認(rèn)證，該軟件的算法是科學(xué)準(zhǔn)確的，計(jì)算結(jié)果與國(guó)際同類成熟軟件的計(jì)算結(jié)果一致時(shí)，我知道我的想法已經(jīng)實(shí)現(xiàn)，馬克威分析軟件也在用戶的口碑相傳中不斷應(yīng)用于各個(gè)政府部門、企業(yè)及高校。
隨著互聯(lián)網(wǎng)的發(fā)展，當(dāng)阿里開(kāi)始初露頭角時(shí)，我開(kāi)始意識(shí)到下一波的數(shù)據(jù)分析技術(shù)將面臨大數(shù)據(jù)的挑戰(zhàn)，同時(shí)這也是馬克威彎道超車，超越老牌數(shù)據(jù)分析軟件的大好機(jī)會(huì)。因此，當(dāng)阿里委托我們?yōu)榘⒗镌骑w天云平臺(tái)開(kāi)發(fā)一套分布式分析挖掘工具的時(shí)候，我們幾乎是一拍即合的。當(dāng)馬克威云挖掘軟件研制成功時(shí)，我們?cè)诖髷?shù)據(jù)時(shí)代已經(jīng)占據(jù)技術(shù)領(lǐng)先地位。
作為一家高新技術(shù)企業(yè)，技術(shù)的發(fā)展，產(chǎn)品的更新始終是我不斷思考的問(wèn)題。當(dāng)越來(lái)越多互聯(lián)網(wǎng)企業(yè)如雨后春筍般出現(xiàn)，當(dāng)國(guó)家開(kāi)始鼓勵(lì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展時(shí)，當(dāng)算法時(shí)代，算法經(jīng)濟(jì)，人工智能這些字眼越來(lái)越為人們所熟知時(shí)，我開(kāi)始醞釀馬克威算法交易平臺(tái)的研制和發(fā)布問(wèn)題。當(dāng)資本追捧獨(dú)角獸企業(yè)的時(shí)候，我看到的是螞蟻的力量，既然算法是未來(lái)的發(fā)展方向，那么集大眾的智慧一定會(huì)使中國(guó)在算法革命的浪潮中立于不敗之地。為了打造一個(gè)匯集全球所有能公開(kāi)獲得的算法庫(kù)和行業(yè)應(yīng)用模型庫(kù)，為各行各業(yè)的分析人員提供一站式服務(wù)，我將數(shù)據(jù)分析和挖掘算法以及行業(yè)應(yīng)用模型開(kāi)發(fā)成獨(dú)立封裝、適應(yīng)各種運(yùn)行環(huán)境的產(chǎn)品放在互聯(lián)網(wǎng)上，以PGC的模式帶動(dòng)UGC的效應(yīng)，旨在助力中國(guó)智能化的發(fā)展。
首席數(shù)據(jù)官聯(lián)盟： 大數(shù)據(jù)最近幾年才深入人心，作為國(guó)內(nèi)最早開(kāi)發(fā)分析挖掘軟件的公司，在產(chǎn)品推廣應(yīng)用中曾經(jīng)遇到哪些挑戰(zhàn)和困難？后來(lái)是如何解決的？
的確，先行者和先烈者往往只有一步之遙。天律公司成立于2001年，當(dāng)時(shí)國(guó)內(nèi)市場(chǎng)對(duì)于數(shù)據(jù)分析挖掘的需求還沒(méi)有顯現(xiàn)，產(chǎn)品的應(yīng)用范圍也不是那么廣泛。我們公司的發(fā)展只有一個(gè)秘訣，就是善于啃骨頭。當(dāng)國(guó)家統(tǒng)計(jì)局遇到CPI難題，當(dāng)2010年上海世博會(huì)遇到人流預(yù)測(cè)難題，當(dāng)大型企業(yè)遇到?jīng)Q策分析難題找到我們時(shí)，我們都能用專業(yè)的知識(shí)，豐富的經(jīng)驗(yàn)以及過(guò)硬的技術(shù)超過(guò)預(yù)期的滿足客戶的需求，口碑就是最好的廣告。
在企業(yè)發(fā)展的過(guò)程中，我們也遇到過(guò)人才被挖走，市場(chǎng)推廣不力的問(wèn)題。但最主要的問(wèn)題還是思想理念的問(wèn)題。企業(yè)的經(jīng)營(yíng)、政府的決策到底是以經(jīng)驗(yàn)為主還是用數(shù)據(jù)說(shuō)話，模糊決策還是精準(zhǔn)科學(xué)決策?？上驳氖牵瑖?guó)內(nèi)越來(lái)越多的機(jī)構(gòu)和單位都在走向科學(xué)決策和精準(zhǔn)服務(wù)。
因此，數(shù)據(jù)分析和挖掘技術(shù)越來(lái)越被采納或受到關(guān)注。
首席數(shù)據(jù)官聯(lián)盟：目前公司主要服務(wù)哪些行業(yè)客戶？傳統(tǒng)的套裝軟件售賣模式逐漸不合時(shí)宜，在客戶拓展和服務(wù)方面有哪些新實(shí)踐？
我們的客戶分為三類，政府、企業(yè)以及高校，包括國(guó)家統(tǒng)計(jì)局、國(guó)家海關(guān)總署、國(guó)家商務(wù)部、阿里巴巴、天弘基金余額寶、寶武鋼鐵集團(tuán)、中國(guó)海運(yùn)集團(tuán)、海南航空、中國(guó)電信、中國(guó)移動(dòng)、華中科技大學(xué)、南京財(cái)經(jīng)大學(xué)、中南大學(xué)等等。
作為一家專業(yè)化程度比較高的數(shù)據(jù)分析挖掘軟件公司，我們的核心競(jìng)爭(zhēng)力在于我們自主研發(fā)的算法。我們的產(chǎn)品遠(yuǎn)不止套裝軟件，我們的定位是算法時(shí)代數(shù)據(jù)智能的引擎。馬克威算法交易平臺(tái)的推出也預(yù)示著我們將來(lái)的市場(chǎng)不僅是垂直行業(yè)，橫向領(lǐng)域崛起的數(shù)據(jù)交易所、各大云平臺(tái)以及看似同行的大數(shù)據(jù)應(yīng)用企業(yè)都將成為我們的服務(wù)對(duì)象。
