2017-03-21
從2010年開(kāi)始，BI與數據分析市場便形成(chéng)了一個趨勢，那就(jiù)是從IT驅動升級到業務驅動。這(zhè)一趨勢在2016年得到了完全确認，在Gartner 2016年BI與數據分析魔力象限報告中，在領導者象限傳統BI與數據分析廠商無一幸存，有的甚至在整個魔力象限報告中完全消失。而Qlik、Spotfire、Tableau等敏捷BI與數據分析廠商的業務持續增長(cháng)，到2016年已經(jīng)幾乎完全接管了BI與數據分析的增量市場。
Gartner2017年商業智能(néng)與分析魔力象限
Gartner2016年商業智能(néng)與分析魔力象限
BI與數據分析市場的這(zhè)一巨大變革，源于整個市場的用戶和場景的變革。
在上世紀末和2000年初，BI與數據分析領域的最常見場景，就(jiù)是IT人員負責企業各個部門的需求收集并將(jiāng)之實現成(chéng)爲一張張靜态報告，而業務人員則查看靜态報告，或者接收到系統推送的一張張靜态報告。
這(zhè)一場景存在著(zhe)兩(liǎng)個巨大的問題，首先是IT人員不足成(chéng)了企業數據分析的瓶頸。占企業不到5%的IT人員承擔著(zhe)巨量的靜态報告開(kāi)發(fā)任務，他們加班加點地工作以月或者季度爲單位發(fā)布更多的靜态報告，IT人員工作負擔很重。第二，分析報告的及時(shí)性無法滿足業務需求，往往也讓一線業務人員經(jīng)常抓狂，例如電商企業的一線營銷人員在備戰雙11時(shí)往往需要數據來做決策，但面(miàn)對(duì)這(zhè)樣(yàng)的需求IT人員往往隻能(néng)在12月才能(néng)提交上線。
基于以上需求，在2000年左右BI與數據分析市場出現了幾款面(miàn)向(xiàng)業務人員數據分析需求的單機版産品，例如QlikView、Spotfire等，這(zhè)些單機版産品受到了越來越多業務人員的喜好(hǎo)，後(hòu)續這(zhè)些單機版産品逐漸演變爲企業級産品，到現在又逐漸演變爲雲平台産品。
越來越多的業務人員成(chéng)爲了BI與數據分析産品的深度用戶，很多人還(hái)成(chéng)爲了“公民數據科學(xué)家”。
當前，“公民數據科學(xué)家”的增長(cháng)速度是“職業數據科學(xué)家”的5倍，這(zhè)一增長(cháng)速度意味著(zhe)成(chéng)百上千家企業裡(lǐ)，有成(chéng)千上萬的“公民數據科學(xué)家”如雨後(hòu)春筍般湧現。
他們接入敏捷BI與數據分析平台，按照自己的意願去探索數據、發(fā)現問題、找到答案并采取行動。大量具有業務洞察的數據分析報告被(bèi)他們制作、分享、交流，整個過(guò)程被(bèi)IT人員在企業級平台上進(jìn)行監控和管理。
這(zhè)一場景在2016年成(chéng)爲了主流場景，BI與數據分析市場的大部分采購都(dōu)源于業務部門的主張，IT部門會(huì)積極主導并參與其中。他們采購的往往都(dōu)是敏捷BI與數據分析産品，這(zhè)些産品必須很好(hǎo)地支持無邊界的探索式分析。
要更好(hǎo)地滿足業務人員的需求，新技術成(chéng)爲了解決新問題的必要手段。
要支持無邊界的探索式分析，細粒度數據是基礎性要求之一。
舉個例子：基于每一張訂單的細節數據，業務人員將(jiāng)能(néng)分析去年全年訂單銷售收入中男性消費均值、男性消費方差、女性消費均值、女性消費方差，區域消費均值、區域消費方差等等。而上世紀90年代的數據分析技術建立在OLAP等預先彙總技術之上，很難滿足無邊界的探索式分析。這(zhè)并不是因爲我們的前輩水平有限，而是因爲當時(shí)處于286/386/486/586時(shí)代，哪怕是小型機的存儲和計算能(néng)力都(dōu)很有限，隻有把數據進(jìn)行預先彙總，企業的BI與數據分析的平台才基本可用。20多年來，這(zhè)些傳統BI與數據分析平台爲企業帶來了巨大的價值，也因爲技術架構的限制而難以适應當前的新需求。
從2000年以來，大數據技術逐漸發(fā)展起(qǐ)來。分布式計算、分布式存儲、高性能(néng)計算、庫内計算、列存儲等相關技術應運而生，并被(bèi)投入到實際的商業應用中逐漸成(chéng)熟。
但事(shì)情沒(méi)有那麼(me)簡單。在大數據時(shí)代，一則數據源複雜且數據量巨大，二則業務人員并不具備足夠的計算機科學(xué)知識，這(zhè)讓整個場景變得複雜起(qǐ)來。
從使用永洪科技的一站式大數據分析平台Yonghong Z-Suite的用戶群體中我們發(fā)現，在探索式分析場景中，業務人員一個無心的點擊有可能(néng)給平台帶來上百億次計算量，什麼(me)計算請求應該被(bèi)支持什麼(me)計算請求應該被(bèi)刹車，這(zhè)對(duì)平台提出了極高的要求。一站式大數據分析平台需要支持上千甚至上萬個用戶，在這(zhè)一平台上既有成(chéng)熟的數據分析報告，也有探索式分析；既有高時(shí)效性數據分析報告，也有低時(shí)效性數據分析報告。如何讓整個平台一直穩定高效地運行并持續支撐上萬用戶的數據分析需求，這(zhè)對(duì)大數據技術提出了更高的要求，因此現代企業最需要的一站式大數據分析平台的研發(fā)難度極高。
另一方面(miàn)，業務人員對(duì)平台的易用性提出了更高的要求，語音輸入、模式匹配、自然語言搜索等新技術也將(jiāng)被(bèi)BI與數據分析産品納入，去更好(hǎo)地支持業務人員的數據分析需求。
AI和深度分析將(jiāng)成(chéng)爲“公民數據科學(xué)家“的下一個使用熱點。
基于統計方法，探索式分析爲業務人員帶來了強大的數據解讀能(néng)力。他們可以從數據中快速找出模式、發(fā)現異常、解讀趨勢等等。
但這(zhè)還(hái)是不夠，如果平台能(néng)給業務人員提供有效的深度分析能(néng)力，業務人員將(jiāng)不隻能(néng)看到過(guò)去，還(hái)能(néng)預測未來。不過(guò)，”公民數據科學(xué)家“畢竟不是”職業數據科學(xué)家“，他們當中的大多數人不懂分類不懂聚類，也不懂時(shí)間序列等等技術，如何讓他們能(néng)得心應手地結合深度分析技術從數據中獲取洞察，是一個不小的挑戰。
另外，AI技術在各個領域改變著(zhe)人們的生活，結合AI技術人們在自動駕車自動掃地自動飛行等領域取得了很大的進(jìn)展，而BI與數據分析市場也必然可以結合AI技術爲用戶帶來更多的價值。雖然AI技術在這(zhè)一領域尚未被(bèi)成(chéng)熟而廣泛地運用，筆者相信自動分析將(jiāng)在下一代BI與數據分析産品中發(fā)揮巨大作用。
雲計算和大數據將(jiāng)不再是熱詞。
雲計算和大數據已經(jīng)是多年的熱詞，各行各業的人們都(dōu)在讨論雲計算和大數據，IaaS、PaaS、SaaS、DaaS等雲計算術語讓人應接不暇，而HDFS、MapReduce、Spark等大數據術語也吸引著(zhe)大量眼球。筆者發(fā)現，在成(chéng)年累月的探讨之後(hòu)，人們不再像之前那樣(yàng)將(jiāng)雲計算和大數據當做熱點談資，而大約一年前投資圈對(duì)On-Premise和SaaS的态度還(hái)是泾渭分明的。商業社會(huì)持續催生熱點吸引著(zhe)大家，但人們對(duì)每個熱點的關注往往難以持續。
我們看到，在BI與數據分析市場客戶將(jiāng)不再關注模式是On-Premise還(hái)是SaaS，或者底層是不是大數據技術，塵埃落定之後(hòu)漸漸回歸到了商業的本質，也就(jiù)是：如何給客戶創造價值。
永洪一站式大數據分析平台
以下是<Gartner 2017 BI與數據分析魔力象限>報告的内容，歡迎朋友們解讀。
現在BI與數據分析市場從IT爲中心轉向(xiàng)以業務爲中心的狀況已經(jīng)成(chéng)爲主流。數據和分析市場的領導者們面(miàn)臨無數的選擇：傳統的BI供應商已經(jīng)在近期不斷創新彌補了差距，而那些“分裂者”們則進(jìn)一步的增強了落地實施的能(néng)力。
到2020年，智能(néng)的、企業級管控的、基于Hadoop/Spark技術的和以可視化爲基礎的數據挖掘能(néng)力將(jiāng)成(chéng)爲下一代現代BI和數據分析平台的組成(chéng)部分。
到2021年，現代BI和數據分析平台將(jiāng)會(huì)因爲智能(néng)數據挖掘能(néng)力的不同而體現出差異化，擁有智能(néng)數據挖掘能(néng)力的平台的用戶量將(jiāng)達到非此類平台兩(liǎng)倍的增長(cháng)率，而這(zhè)也會(huì)給客戶帶來兩(liǎng)倍的商業價值的提升。
到2020年，自然語言處理和人工智能(néng)技術將(jiāng)成(chéng)爲90%的現代BI平台的标準性能(néng)。
到2020年，50%的分析問題將(jiāng)通過(guò)使用搜索，自然語言處理和語音的方式生成(chéng)，或者將(jiāng)被(bèi)自動生成(chéng)。
到2020年，一些平台將(jiāng)爲用戶提供内部和外部的數據目錄，與無法提供這(zhè)些數據目錄的企業相比，他們將(jiāng)幫助客戶通過(guò)對(duì)數據分析的投資實現兩(liǎng)倍的商業價值。
到2020年，公民數據科學(xué)家的數量將(jiāng)比數據科學(xué)家的數量增長(cháng)快五倍。
BI廠商們應該支持以下5種(zhǒng)應用場景
1.以敏捷爲中心的BI産品：這(zhè)種(zhǒng)平台支持敏捷型的、IT化的工作流程，包括從數據到集中交付和管理分析内容，平台具有自有的數據管理能(néng)力。
2.去中心化的分析：支持數據的自服務數據分析。可以爲獨立的業務模塊和用戶提供分析支持。
3.數據挖掘管控：支持從自服務數據分析到自助創建數據分析管理頁面(miàn)的工作流程，IT級的内容管控，而用戶内容生成(chéng)、管理頁面(miàn)和分析内容都(dōu)是可複用和可升級的。
4.OEM和内嵌式BI：支持數據分析流程以内嵌BI至一個流程或者一種(zhǒng)應用中來實現。
5.外部部署：支持爲外部客戶或者公共領域、公民接入分析内容，流程類似以敏捷爲中心的BI。
以及以下15種(zhǒng)關鍵能(néng)力
1.BI平台的監管、安全與架構：平台具有安全管理、用戶管理、平台接入與使用的審計、調優和保障高可用性和容災的能(néng)力。
2.雲BI：具有平台即服務和分析應用即服務的能(néng)力，可以同時(shí)在雲端和本地部署、使用和管理數據分析報告和數據分析應用。
3.數據源的連接和融合：讓用戶能(néng)連接到雲端和本地化的結構化和非結構化的數據，包含支持不同類型的數據存儲平台。
4.元數據管理：該工具能(néng)夠讓用戶利用數據包模型和元數據。實現這(zhè)些功能(néng)需要提供一種(zhǒng)強大的和核心的方式方便管理者們去搜索、抓取、存儲、複用和發(fā)布元數據對(duì)象，比如維度、層級、度量、表現特性/核心指标和報告布局等。平台管理者們需要有能(néng)力去升級業務用戶創建的數據模型將(jiāng)其提升爲系統級的數據模型。
5.自有數據的抽取、轉換、加載以及數據存儲：該系統有能(néng)力爲連接、融合、轉換和加載數據至一個自有的功能(néng)引擎以及有能(néng)力去索引數據、管理數據加載以及更新計劃。
6.自服務數據準備：平台可拖拽不同來源的用戶數據集，可生成(chéng)分析模型，比如根據不同數據來源的用戶可自定義度量、組合、集合和層級。高級功能(néng)包括對(duì)不同來源的數據通過(guò)機器學(xué)習、語義識别、智能(néng)聯結、智能(néng)側寫、層級生成(chéng)、數據行數和數據混合等進(jìn)行分析處理。
7.内置的高級分析功能(néng)：讓用戶可以非常方便的接入高級分析功能(néng)，在自有平台或者通過(guò)引入、結合外部高級模型進(jìn)行分析。
8.分析儀表盤：通過(guò)視覺探索和内置的高級地理空間分析能(néng)力去生成(chéng)能(néng)夠被(bèi)其他人使用的高交互性的儀表盤和内容。
9.可交互的視覺化探索：使這(zhè)種(zhǒng)數據分析的探索可以借助可視化的選項，包括但不限于基礎的圖表形式，比如餅圖、柱狀圖、線圖等，也包括熱力圖和樹狀圖，地圖和散點圖以及其他特殊主題的圖表形式。這(zhè)些工具能(néng)讓用戶通過(guò)百分比、細分和組合的展示情況去分析和操作數據。
10.智能(néng)數據挖掘：幫助用戶在不通過(guò)查詢和建模以及寫算法的情況下自動挖掘、視覺化和叙述重要的分析發(fā)現，比如數據間的關聯、排除、集合、連接和預測等。
11.移動端的數據探索和編程： 通過(guò)利用移動設備的天然屬性，例如觸屏、照相功能(néng)和地理位置信息，讓客戶可以用發(fā)布或交互的模式給移動設備升級和傳送内容。
12.嵌入分析内容：這(zhè)種(zhǒng)性能(néng)包含供應商提供的軟件開(kāi)發(fā)工具包和API接口，支持用戶創建和修改分析内容，支持可視化展現和嵌入應用程序，可將(jiāng)其嵌入到業務流程、應用程序或門戶的開(kāi)放标準中。這(zhè)些能(néng)力可以來自于外部的應用、或者被(bèi)複用的分析基礎設施，但必須可以無縫的與内部應用連接，也不需要讓用戶在兩(liǎng)種(zhǒng)系統間進(jìn)行切換。這(zhè)種(zhǒng)能(néng)力讓BI與其他數據分析應用架構可以結合，讓用戶可以選擇在哪個業務流程中嵌入分析模塊。
13.分析内容的發(fā)布、分享和結合：這(zhè)些能(néng)力可以讓用戶通過(guò)不同的結果類型和分布方式去發(fā)布、配置和優化分析内容，同時(shí)也有對(duì)内容搜索的支持、計劃和預警的功能(néng)。
14.平台能(néng)力和工作流：對(duì)于單一的、無縫的産品，或者多個産品來說(shuō)，需要基于怎樣(yàng)不同的功能(néng)去适配這(zhè)種(zhǒng)融合的需求。
15.便捷的使用和可視化展現：對(duì)管理者來說(shuō)可以便捷的使用和部署平台、生成(chéng)内容、銷售内容以及與内容互動，同時(shí)也具備可視化展現的能(néng)力。
這(zhè)種(zhǒng)預期的低增長(cháng)率是對(duì)目前主流市場的情況反饋，這(zhè)說(shuō)明市場的需求正在增加，但仍會(huì)受到價格壓力的阻礙。購買決策將(jiāng)持續受到業務決策者和業務用戶的強烈影響——這(zhè)些使用者希望使用更敏捷的、具備成(chéng)功能(néng)力的産品，爲小型組織和部門級使用而服務。這(zhè)意味著(zhe)這(zhè)種(zhǒng)先落地再擴展的模式始終主導著(zhe)市場的銷售形态，但作爲企業客戶來說(shuō)實施需求的增長(cháng)以及平台的模式是否對(duì)具備敏捷、客戶友好(hǎo)等性能(néng)已經(jīng)成(chéng)爲了更重要的衡量标準。企業的IT部門現在已經(jīng)失去了部分的決策影響力。在這(zhè)個快速進(jìn)化的市場中，新增長(cháng)的核心驅動因素如下：
在規模上，現代BI是新型采購的主要目标。企業在管理上的需求遞增將(jiāng)推動IT部門更多參與到業務用戶的需求實現上。業務用戶最初傾向(xiàng)于使用這(zhè)些新型工具的原因是通過(guò)這(zhè)些工具進(jìn)行數據分析，可以讓他們不依靠IT中心的幫助而自行完成(chéng)——這(zhè)對(duì)他們來說(shuō)是最主要的吸引力。而現在用戶數的增加、應用場景複雜性的增長(cháng)以及更多應用場景的産生都(dōu)使業務部門催生出更多的使用需求。因此IT部門必須更多的與業務部門協作，用更好(hǎo)的更敏捷的流程去支持快速的業務擴張需求，支持業務用戶自助完成(chéng)分析内容以及這(zhè)些内容的分布，去保障使用和決策是基于可信賴的數據分析的基礎之上。現代的BI工具可以擁有更好(hǎo)的連接性、更敏捷的分析方式以及更客觀的分析洞察，同時(shí)也將(jiāng)保持很好(hǎo)的易用性，這(zhè)些都(dōu)將(jiāng)驅動和主導新的采購方式的産生。
創新型供應商和已有的廠商會(huì)驅動下一次市場分裂的浪潮，而現在這(zhè)種(zhǒng)情況已經(jīng)開(kāi)始顯現。市場一旦分裂，可視化的探索經(jīng)驗將(jiāng)成(chéng)爲主流并被(bèi)普及，無論對(duì)大型或小型的廠商都(dōu)是如此，這(zhè)個市場將(jiāng)成(chéng)爲下一次分裂的風口浪尖，將(jiāng)推動新一輪購買激增的熱潮——原因是這(zhè)種(zhǒng)高性能(néng)的産品將(jiāng)爲用戶減少從高級分析中獲得洞察的時(shí)間，以及爲他們帶來在企業内部更廣泛的分析組合。智能(néng)數據挖掘能(néng)力會(huì)幫助用戶自動的去發(fā)現那些存在于大量的、複雜的和持續增長(cháng)的複合型數據集中的隐秘模式，而這(zhè)些都(dōu)不需要通過(guò)建模、寫代碼或者查詢來實現。這(zhè)些能(néng)力減少了人爲和自然的偏見在可視化探索編程中的産生，用戶可通過(guò)高亮、視覺化和描述重要發(fā)現、關聯、組合、預測、異常值、異常呈現、聯動或者數據趨勢，在不通過(guò)建模的情況下去展現數據分析的結果。這(zhè)種(zhǒng)能(néng)力讓用戶通過(guò)自然語言理解和嵌入可落地的應用模塊去實現數據查詢和探索式分析，將(jiāng)幫助企業擴大數據分析的範圍和價值。智能(néng)數據挖掘利用自動探索讓數據科學(xué)平台進(jìn)一步增強了性能(néng)，而在未來，專業領域的數據科學(xué)家將(jiāng)推進(jìn)更前沿的數據探索和驗證的方式去支持企業決策的需求。當創新型企業的新浪潮崛起(qǐ)時(shí)，傳統BI的廠商們——那些曾經(jīng)以緩慢的步調适應“現代分裂浪潮”的公司， 現在已經(jīng)給出了回應（比如IBM和Salesforce），而他們中的一些（比如IBM and Salesforce），也正在主導下一次的“智能(néng)”潮流。
對(duì)複合型數據集的需求驅動了在數據準備上的投資。業務用戶希望能(néng)夠分析不同來源和不同類型的數據，這(zhè)其中還(hái)包含大量且複雜的數據組合和數據模型，除數據倉庫和數據池之外，也包括對(duì)流數據的處理能(néng)力的需求等，這(zhè)都(dōu)要求更快速的計算能(néng)力。這(zhè)種(zhǒng)能(néng)力需要能(néng)夠支持對(duì)數據的快速準備、清洗、豐富以及發(fā)掘出可信賴的數據，對(duì)擴展使用需求來說(shuō)，對(duì)複合型數據集的支持變得非常重要。
可延展性和可嵌入性將(jiāng)成(chéng)爲擴大使用範圍和提升使用價值的主要的驅動因素。擴大使用範圍的方式可以通過(guò)爲業務人員包括内部用戶和客戶提供更爲自動化的工具或者給他們正在使用的應用産品内置分析模塊來實現——也可以兩(liǎng)者兼而有之。可嵌入性和對(duì)用戶内容的分析能(néng)力的提升將(jiāng)成(chéng)爲這(zhè)些工具的适用性和普及性的有力支持，無論從分析産生的價值或者分析本身來說(shuō)皆是如此。
支持對(duì)實時(shí)活動和流數據的處理能(néng)力，將(jiāng)幫助使用場景得到延伸。爲适應企業快速決策的需求，企業將(jiāng)增加對(duì)設備、感應裝置和交互産生的流數據的處理需求。在BI和數據分析市場將(jiāng)需要在一些類似的能(néng)力上進(jìn)行技術投資——目的是幫助買家提供可以將(jiāng)實時(shí)活動和流數據以及其他來源和種(zhǒng)類的數據合并處理的平台，將(jiāng)其升級成(chéng)一種(zhǒng)新的高效能(néng)分析應用，以幫助客戶在實時(shí)的可落地的洞察建立之後(hòu)，保障分析洞察可以被(bèi)很好(hǎo)的利用起(qǐ)來。
内容、數據和算法的市場空間將(jiāng)得到提升，而這(zhè)些市場也將(jiāng)變得更加成(chéng)熟，將(jiāng)爲企業創造更多的機會(huì)去購買、出售在業務洞察上的分析能(néng)力和計算能(néng)力。在細分領域内新的市場空間的增長(cháng)使買方和賣方能(néng)轉換和交換分析應用，規劃數據的來源，定制可視化的展現和算法，而這(zhè)些市場空間的增長(cháng)很可能(néng)就(jiù)出現在BI和數據分析市場。現有的市場空間仍然爲BI廠商提供了新的渠道(dào)——在平台上構建出解決方案，通過(guò)他們的客戶渠道(dào)和合作夥伴的資源去銷售産品。成(chéng)熟市場空間的主要好(hǎo)處在于——這(zhè)是一個可連接終端用戶群體到虛拟的無限能(néng)力的通道(dào)，這(zhè)將(jiāng)幫助他們在自己内部發(fā)展出解決方案和流程。
Yonghong 雲端産品布局
對(duì)雲部署的需求將(jiāng)持續增長(cháng)。雲産品很有可能(néng)會(huì)幫助客戶減少部署時(shí)間和成(chéng)本。然而，“數據重力”的現象仍然存在，大多數企業仍傾向(xiàng)于本地部署，這(zhè)成(chéng)爲這(zhè)種(zhǒng)轉變情況的抑制劑—特别是對(duì)于IT部門的采購者來說(shuō)。現在，這(zhè)一狀況正在緩慢的被(bèi)改變。在2016年，有46%的參與調查問卷的客戶表示他們已經(jīng)或者準備要做雲端BI的部署了，來自業務端客戶的反饋要比IT端客戶的反饋更加積極。到2017年，雲端部署的比例將(jiāng)增加到51%，大部分增加的比例會(huì)來自于IT部門的需求轉變。我們希望這(zhè)種(zhǒng)趨勢將(jiāng)繼續，伴随著(zhe)新的軟件授權方式/購買方式成(chéng)爲主流（超過(guò)半數），預計這(zhè)種(zhǒng)情況會(huì)持續到2020年。
伴随下一次市場分裂的浪潮，新的創新型供應商將(jiāng)持續産生，而這(zhè)次變革應該被(bèi)廠商們看做是整體策略的一部分。之後(hòu)的幾年中，大型的BI廠商在創新技術和創新領域的投資同樣(yàng)會(huì)讓買方收益，同理，風險投資機構對(duì)創新型企業的投資也同樣(yàng)能(néng)使買方市場獲益。對(duì)過(guò)剩的創新産品的試點出現了下降趨勢，同時(shí)供應商們去做POC的頻率也在下降，這(zhè)種(zhǒng)趨勢體現的是買方企業随著(zhe)時(shí)間推移將(jiāng)産生更多的科技負債——多個獨立的解決方案會(huì)促使業務價值快速（匆忙的）轉變爲産品實施，而在實施過(guò)程中卻往往缺乏足夠的對(duì)系統設計，項目執行和項目支持的關注。在這(zhè)個快速進(jìn)化的BI市場中，企業應該通過(guò)發(fā)展正式的IT策略和參考合理的項目架構去避免在做選型評估時(shí)産生科技負債， 這(zhè)些策略也將(jiāng)幫助企業在未來避免大部分返工和再設計的工作量産生。