商業智能(Business Intelligent)也被稱為商業智慧或商務智能,人們習慣的稱呼為“BI“,圍繞BI工具建設的平臺常稱為”某某BI系統“、”某某報表平臺“、”某某管理駕駛艙“等。BI(商業智能)技術提供使企業迅速分析數據的技術和方法,包括收集、管理和分析數據,將這些數據轉化為有用的信息,然后分發到企業各處,讓企業決策有數據依據,減少決策盲目性,理性地驅動企業決策和運營。近幾年,BI越來越多的跟大數據聯系在一起,BI工具需要提供大數據處理能力,也需要能實時對接大數據平臺進行數據分析計算。
自2012年以來,中國大數據BI行業都保持著快速的發展,雖然2018年企業外部環境愈加復雜,但BI行業并未受到明顯影響,依然強勢取得了同比增長25.8%的成績。這一增長率,約是中國軟件業增速的2倍,中國GDP增速的4倍。但是整體來看,中國BI行業的市場規模依然很小,2018年約有16.6億人民幣(純軟件銷售收入,不含項目實施、項目運維),我們可以肯定,未來中國BI行業的發展潛力巨大。
帆軟數據應用研究院是中國研究大數據BI行業的重要力量之一,始終密切關注著中國BI行業的發展。自2018年3月開始,我們通過線上、線下的調研方式收集信息,共覆蓋了全國各地5500多名企業IT及相關業務部門人員,了解到他們的大數據BI應用狀態、需求情況、對大數據BI產品功能的期待等,并走訪了重點企業。我們還重點研究了IDC、Gartner、賽迪顧問、中國信通院等咨詢研究機構對大數據、BI、數據分析行業的分析判斷。結合多位帆軟數據應用研究院專家,以及一線售前工程師、行業化顧問、項目經理們的經驗、積累,我們研究分析了2019年BI行業發展趨勢,并將這些成果總結為《2019年中國大數據BI(商業智能)行業預測報告》,期待著您的批評斧正。
主要預測觀點
1 、2019年BI行業基本面
自我國開始實施國家大數據戰略以來,大數據BI行業保持著高速穩定的發展。一方面得益于國家政策的牽引,如《大數據產業發展規劃(2016-2020年)》等利好政策,對打造“數據、技術、應用與安全協同發展的自主產業生態體系”做了全方位的支撐和部署。另一方面,持續多年的信息化應用價值教育,企業自身信息化建設的準備,以及企業面臨的實際經營難度和壓力,都讓越來越多的企業更堅決的擁抱BI產品,期望通過精細化運營來提升經營效益,增強市場的競爭力。
當前我國已經進入BI(商業智能)及DA(數據分析)領域的第一方陣,并成為發展最快的國家之一,但距離美國還有一定的差距,在未來五年內,中國都將處于追趕態勢。
(1)企業信息化基礎建設落后,BI市場教育需要持續進行。中國企業信息化起步較晚,企業上線BI更是需要一個過程。2001年我國加入WTO以后,受到上游國際企業的要求和影響,ERP、MIS、SCM、OA等綜合業務管理系統在國內企業迅速生根發芽,從外向型規模制造企業到其他行業延伸,但直到2008年~2015年期間,一、二線城市稍具業務規模的企業才上線了主要業務系統,要知道美國通用汽車在20世紀80年代就已經實現了初步的OA與ERP功能。當前整體來看,中國企業信息化建設較美國落后10至15年,尤其是西北、西南等偏遠地區,落后更多。
(2)國內外的BI需求不同,國產BI的先進性需要重新定義。Gartner作為全球BI行業最重要的觀察者,每年都會發布BI和分析平臺魔力象限報告,報告中的領導者企業一般會被認為當前BI行業中最尖端企業,代表著最先進的生產力,遺憾的是至今國內BI產品還從未入榜。由于我國企業對BI的需求、關注點、市場特征、發展階段均與國外有所不同,目前處于國外商業智能趨勢風口的諸如自然語言搜索、語音生成、自動生成等增強分析功能在國內仍停留在概念階段,并未形成規模化市場應用,所以國產BI廠商在需求的響應和方向選擇上有自己的準則,并非“為了先進而先進”,所以國產BI的先進性需要重新定義。
2018年中國大數據BI行業(純軟件銷售收入,不含項目實施、項目運維)的增長率達到25.8%,比2017年的22.3%高出將近4個百分點。在諸多行業中,BI取得的成績是十分矚目的,BI行業的增長率約是中國軟件業的2倍, GDP增長率(6.6%)的4倍。雖然增長率迅速的,但中國BI行業的市場規模依然很小,2018年約有16.6億人民幣,未來中國BI行業的發展潛力巨大。我們估計,2019年中國BI行業軟件收入規模將達到21億左右,增長率達到27%。
大數據BI行業已然是個香餑餑,進場者越來越多,魚龍混雜,整個競爭局面是神仙打架,小鬼遭殃。2018年活躍的BI工具和廠商,約有50個,較2017年的42個多出8個,很多產品都是近兩年推出的。BI行業是個充滿吸引力的領域,同時也是極具門檻的領域。B2B行業與B2C、C2C行業屬性不同,即便是在互聯網巨頭或大量資本的支持下,沒有較明顯的產品優勢、服務優勢和用戶基礎,新創品牌是很難闖出一片天的。早些年大量融資的BI企業,2018年的日子并不好過,后勁明顯不足。
在市場知名度方面(品牌提及率,提到BI想到的廠商品牌),帆軟以29.27%的品牌提及率一馬當先,IBM以11.54%、SAP以5.98%分列榜眼、探花,微軟以5.34%位居第四,Tableau以3.63%位居第五。
IBM、SAP因為未能提供有競爭力的自助式BI產品,其知名度正持續下降,但得益于他們在IT領域的沉淀,銷售業績并未出現大幅度的衰減。微軟、Tableau的產品因為本土化服務策略、商業策略以及產品特性,知名度也有限。至于領頭羊的帆軟,其穩健的產品和服務策略,知名度、銷售業績雙雙提升。其他廠商則過于小眾,提及率普遍在1%以下,甚至更低。
可以看到,同金融、保險、生產制造、互聯網等行業一樣,結合各企業的實力現狀和發展潛力(人才結構、企業文化理念等因素),我們相信在未來的很長一段時間內,BI行業的馬太效應持續增強,強者益強,弱者益弱。
2、企業應用BI系統的現狀
如上文所述,企業對BI的重視程度在不斷增加。為了讓BI成功落地,產出更多價值,大多數企業改進了組織架構,對IT部門進行重新定位,比如分拆除ITBP、數據分析師、數據運營官等職能崗位。據調研,2018年約7成的企業已經成立了履行數據分析工作的相關部門(或擴展IT部門的職能),較2017年增長將近10個百分點。
因為企業的需求,IT部門也正逐漸從幕后走向臺前,承擔更多的責任。調查數據顯示,有35.2%的企業信息化方向和策略,是基于該公司戰略目標或管理層決策制定的。
有47.1%企業處于技術運維階段(能夠通過IT手段,增強企業業務的管理和運作能力,對業務有一定的支撐),有40%處于合作伙伴階段(合作伙伴,能夠在業務部門還未想到之前,就運用IT技術,幫助實現業務的發展和新業務的開拓)。對于工作成績,領導層對數據分析/BI項目的滿意度超過80%(非常滿意的38.9%,比較滿意的42.6%)。
在IT部門不斷崛起的過程中,BI的價值也得到了更充分的釋放。調查數據顯示,約38%的企業處于業務監測階段(傳統的DW/BI階段,用以監測現有業務的運行狀況),26%的企業處于業務洞察階段(使用統計分析、預測分析、數據挖掘,來提示重大、相關的業績改善建議,即“告訴我我所需要知悉的”階段)。有16.7%的企業明確表示,BI建設落后,無法滿足多變的需求,需要升級。
此外,我們在調研中發現,BI的應用層面正從領導層向下擴散,越來越多的中間層(業務管理層、業務執行層)使用BI,2019年將更快的增長。從誕生之日起,BI的直接受眾都是企業的決策者,但近來由于入門級BI(報表工具)的推廣應用,越來越多的中層開始享用BI系統帶來的好處。調研發現,在成功上線BI項目的企業中,約有57.3%的企業領導在使用BI進行數據查看和分析;業務管理層和業務執行層中越來越多的人在使用BI,人數已經過半。
我們驚喜的發現,IT部門與業務部門的配合愈加緊密。雖然IT完全主導、IT強主導仍然是常態,但是業務強主導則從2017年的9.67%增長至2018年的23.31%,翻倍增長。未來將會更加緊密。僅有3.45%的企業,IT與業務的配合較差,存在一些部門墻。但是,25.9%的企業配合如魚得水,IT理解業務,業務認可IT。
整體來看,企業應用BI系統的狀況不斷良性發展,但也面臨著諸多挑戰,也是BI成功的重點、難點。
(1)數據整合治理。64.8%的受訪企業表示數據的整合與治理,是未來的主要挑戰。數據問題主要集中在:“數據過于分散,形成數據孤島,取數分析麻煩” “底層數據混亂,存在準確、失效、性能的問題”這兩個方面。一半的受訪企業認為,數據人才的培養和數據分析工具的選擇,也是主要難點。
(2)數據人才的培養。從整體背景來看,越來越多的企業開始把數據人才作 為企業經營戰略版圖的核心組成部分,集中表現越來越愿意花高薪聘請大數據人才,整體薪資水平在不斷提升。但是優秀的大數據人才培養的成本 居高不下,培養周期長,人才供應始終是在大數據人才需求越來越大的背景下捉襟見肘。薪資競爭力不足以及企業創新力不足,讓傳統企業愈加困難。
(3)企業數據文化的建設。在企業認可數據,積累數據的過程中,大數據團隊對數據人才的培養也會逐步找到一些法門,這些方法和技巧無不是圍繞在數據文化建設之上。調查顯示,在彰顯數據文化方面,雖然“溝通協調討論用數據說話,基于數據討論”達到了81.8%,但“數據獲得容易,數據分析快速、流暢”還不足35.19%。
讓BI成功并非易事,尤其是讓BI能持續產出價值,更是一個重大挑戰。無論BI廠商如何去改進產品,都不能忽視掉使用BI的人的要素。我們交付給企業一款好的產品,但不教給他足夠的本領去駕馭這款產品,就像給你一把絕世好劍,但沒有給你劍譜,你依然是個菜鳥小白,即便給了你一個劍譜,如果你沒有刻意練習,那到頭還是一事無成。我們結合2017、2018年的售前咨詢經驗發現,企業用戶如果不具備充足的BI項目建設能力,那么他們更傾向于讓BI廠商提供一攬子方案,而不是只采購軟件然后讓企業的IT部門學習、實施。未來BI廠商提供給用戶的,除了產品以外,還有配套的學習資源、培訓資源、服務資源、交流平臺、各行業咨詢方案以及一攬子的項目實施,這一套組合拳,也正是國產BI廠商克敵制勝的法寶。
3、2019年BI主要的功能需求
Gartner2019年度分析和商業智能平臺的魔力象限報告分析認為,到2020年,增強分析將成為新購買分析和商業智能,數據科學和機器學習平臺以及嵌入式分析的主要推動力,50%的分析查詢將通過搜索,自然語言處理或語音生成,或者將自動生成;到2021年,自然語言處理和會話分析將提高分析和商業智能的采用率,從35%提升到50%以上。
如上文所述,中國實際情況與歐美不同,以Gartner為代表的分析機構并不能準確描述我國BI行業的實際狀況,帆軟數據應用研究院的研究結果可能跟接近用戶的聲音:中國BI用戶目前主要的需求還是圍繞企業BI平臺數據權限管控、探索式自助分析、快速搭建業務數據模型、OLAP多維分析、大數據處理性能、自助數據處理、移動數據分析查看這七大核心模塊。
(1) 企業BI平臺數據權限管控
支持企業用戶的多級數據權限分配,數據表支持分配行級別以及列級別的權限,同時支持分級管理員對自己權限范圍內的數據表、業務包、模板和用戶進行管理,滿足集團企業分級管理的需求。
當今時代企業對數據安全管控越來越重視。無論未來商業智能市場發展趨勢如何,BI平臺數據權限管控都將是現代企業商業智能分析的基石。
(2) 探索式自助分析
支持業務人員對自己權限范圍內感興趣數據進行多維拖拽探索和自助分析,以工具簡單易上手的門檻和低學習成本,讓真正對分析業務價值最熟悉的業務人員實現自助數據分析探索,最大化業務數據的分析維度和分析效率,靈活發掘數據中可能潛在的業務價值。
相比于過去IT集中式做報表的信息化模式,在未來,業務部門的數據和分析專家數量將以IT部門專家的三倍速度增長,相信這將迫使企業重新考慮其組織模式和數據技能。通過現代商業智能產品簡單易上手的學習門檻,這將會讓人人都成為數據分析師的能力不再只是IT人的獨有技能。
(3) 快速搭建業務數據模型
根據企業不同業務數據分析主題進行分類管理,同時支持自動/手動構建高度可復用性業務數據關聯模型,一次創建即可滿足不同數據分析業務場景應用,無需反復對底層數據模型進行編輯修改。
通過構建高度靈活、高可復用性的敏捷業務數據模型,讓IT部門逐步擺脫企業取數機的困境,大幅度提高企業的數據分析應用效率。
(4) OLAP多維分析
支持強大的頁面OLAP多維分析功能,包括分析視角的上卷、下鉆,維度的旋轉切換,指標的切換,分析數據的切片過濾,組件之間的聯動過濾、頁面超級鏈接跳轉等。
由于傳統的單一匯總式指標展示形式,已經逐漸無法滿足業務分析的復雜度,OLAP多維分析提供的強大分析功能正是幫助用戶洞察數據背后的深刻業務見解提供了便利的工具。
(5) 大數據處理性能
BI工具可支撐處理億級大數據分析計算的秒級響應,提供加速引擎對傳統關系型數據倉庫(SQLServer、Oracle、Mysql等)進行數據提速處理,同時也支持實時對接企業大數據平臺(Vertical、Kylin、Greenplum等)進行數據分析計算。
通過BI工具強大的數據抽取計算引擎,能夠極大地提高數據計算速度,同時也支持實時對接企業大數據平臺,為業務用戶提供海量數據下分析的性能保障。
(6) 自助數據處理
BI工具可通過快速易上手的交互方式,讓業務人員也能完成工具層面的零代碼數據加工處理工作,例如例如表合并、分組統計、結構數據分層、過濾、增加列、同比環比、累計值、所有值、公式運算等數據清洗和數據處理方法,實現對數據的無限層次多維分析統計。
傳統BI工具對于一些稍微復雜的數據分析場景,往往需要依賴IT人員進行SQL或者ETL處理,然后再將結果數據導出給業務分析用戶,溝通成本大,分析效率低。而通過零編碼式的自助數據處理,讓普通的業務分析用戶也能快速的完成基礎的數據清洗和加工操作。
(7) 移動端數據分析查看
BI工具支持移動端數據分析多維分析查看功能(兼容PC端的上卷、下鉆、旋轉、切片、聯動、跳轉等),對于BI工具的應用app支持便捷的掃碼登陸、離線查看、批注、分享等功能,同時滿足某些社區平臺如微信、釘釘的企業公眾號集成。
通過移動端的數據分析應用,正逐步讓企業的數據分析展示終端不再僅僅局限于PC和大屏應用,較大地提高了分析的便捷性。
4、結語
BI(商業智能)已經成為企業精細化運營不可獲取的一部分。企業數據需要轉換為信息,升級為知識,升華成價值的過程要用到的種種技術和工具,就是BI。如果把企業經營和管理的數據比喻為金礦,那么BI就是一個淘金場,負責采集大量的金礦石、金沙,然后經過進一步的分離、加工等操作,最后提煉出千足金。BI系統的運作過程,也是煉石成金的過程。
酒香也怕巷子深,BI工具的知名度還亟待提升。很多企業有非常明顯的BI需求,但是他們不知道有“BI工具”可以幫他們解決問題,更不要說對BI廠商的認知了,這也從側面反映出BI市場的巨大潛力。市場教育不是一朝一夕的事情,需要BI同行們的共同努力。“待到山花爛漫時,她在叢中笑”,2019年,中國大數據BI行業會更好。