如何開始做商業智能項目,需要注意些什麼呢?

開始客戶都不知道想要知道什麼。


做過幾年FineBI項目實施的人前來答題!

實施BI的前提,最重要的是基礎數據的統一。比如貨品信息,客戶信息,公司內部信息。有些客戶公司數據管理不那麼規範,缺這缺那。雖然有了齊全的數據,BI的實施才有保障,但是既然上了BI,先以實際效果為準,可反向敦促數據質量的管理。

其次是業務的統一。比如銷售模式,採購模式,結算方法,質量管理的統一。比如銷售模式不統一,有的分公司先結算後配送,有的公司先配送後結算,業務形式不統一,口徑不統一,就會造成數據的時間差。

最後是業務部署。業務部署分集中部署和分銷部署,採用的是分散性部署。分散性部署回來帶很多問題,比如某個客戶需要對二十幾家公司進行數據抽數,ETL策略尤其多,如果遇到網路斷掉或者其他意外情況,就要重新生數。而集中部署,保持基礎數據的統一,業務口徑的統一能大量節省人力物力。

BI的部署還需要大量人員的支持,無論是甲方乙方,BI都需要業務人員和信息人員的積極配合,

----------------------------------------------------------------------------------------實踐案例

站在甲方角度,以某公司的BI建設案例為鑒。知乎專欄

項目實施背景

實施的對象是一家服務於三大運營商的項目實施公司。其業務遍布全國各地,每個月存在大量數據的互動與分析,所以數據量非常大。

在過去十年,公司為項目實施業務建立了兩個系統,一個是SAP,主要關於項目的財務數據;另一個是PMP系統,主要關於項目的進度信息和基礎信息。在實施BI之前,為了滿足報表分析的需求,經常需要手工從資料庫中導出表,然後處理數據再分發到全國各地。很明顯,手工處理數據帶來的工作量十分繁雜。

項目實施過程

建立BI系統的目的是希望通過FineBI來集成數據,做成自定義的報表工具,然後形成一個統一的平台。這樣一來,各地人員都可以通過統一的平台查看經營數據,避免數據分發的流程。

在實施項目過程中,我們把這個項目劃分成兩期,第一期是將現有數據進行展示和分發,目標是建立滿足日常運營管理的報表系統,規範基礎數據,每個部門至少兩人掌握報表設計開發。目前該公司既有的業務系統是在不同時間段、不同供應商,由不同人開發出來,一些相同意思的基礎數據會存在不同系統中。同樣,一些基礎的數據在不同的系統中或在不同的業務中都會有不同的意思,所以需要統一基礎數據的規範。

通過這樣一期項目,希望能夠輸出報表系統的資料庫設計文件,通過BI項目的實施推動PMP和SAP基礎數據的規範,為之後的二期開發提建議。

BI的實施,關鍵在於整體的設計,團隊的構建和溝通,在這過程中有哪些需要注意,彭總總結了以下四點。

經驗1:明確BI項目價值在哪?

BI並不單單是一個工具,更像是一套解決方案,它將準確的數據進行加工、組合,然後形成業務所需要的知識,提供給高層參考,幫助企業做出明智的業務經營決策。

但BI也並非萬能,也有解決不了的問題:比如決策和分析的邏輯問題;起始數據不全、不準的問題。但如果是常規簡單業務、相對單一數據源(來自系統),只是展示數據,實施是較快的。對於需要整合數據,引入業務邏輯的BI,實施有一定的難度,其產生的價值遠勝過產品。

經驗2:關注組織中不同角色的動機,建好項目團隊

在項目實施中,實施人員的參與度非常重要。這個參與性體現在哪?BI的參與人員基本上是這樣幾類人:

1、高層管理者:最關心經營邏輯是怎麼通過報表系統展示出來的;

2、經理層:關注分析基礎工具的準備是否到位;

3、業務執行層:關心如何響應不斷變化的需求,需要什麼維度數據統計來做報表;

4、IT支持人員:更多的是站在技術的角度把系統的數據融合起來,解決「信息孤島」問題。

在實施過程中,由於參與者的觀念差異,會朝著不良的方向發展,比如直接將原來手工出的報表丟出來當需求,最常見的問題是:你能不能用系統幫我將XX報表實現;有一少部分單純做數據處理的人會有危機感;會有個別因為實施系統會對原有工作發生改變而不積極,如原來處理錯誤的可手工調節。

所以合格的實施項目經理不是技術實現,而是組織系統實現,前提是深刻理解業務;對於總體設計需要一個靈魂任務,比較好的理解高層管理者的經營邏輯,通過BI管理的變化,但是這個角色絕不能是技術人員擔當;需求階段要聽實際執行層的業務管理人員的需求,但不能全體;在實現階段要本單位的系統人員參與,解決數據的取數問題;在基礎數據準備階段要求執行層人員參與一步步核對數字;分析時要盡量要求執行層人員親自做展示頁面。

經驗3:系統整合是關鍵,整合的關鍵是建規範

整合的關鍵是要建立規範,主要體現在下面幾個方面

1、系統與系統間的不規範問題數據校驗

例如,同一內容在不同系統不同的叫法;同一內容在不同系統不同的分類法;同一內容在不同系統不同的統計規則;手工數據需要注意校驗。

2、注意系統取數溯源法

系統之間不可能是互相成立的,生產系統數據間可能有互相同步,所以一定要保證數據來自最原始的系統,不要用中間資料庫系統的數據。

3、系統數據同步次序安排的考慮

這一點利用FineBI能夠建立FineIndex,建立大量索引,建立索引的工作會放到晚上,做同步,這樣一來處理數據的速度會非常快。

經驗4:項目計劃+整體設計很重要

當初以為建立BI的過程很簡單,就是把各個系統的資料庫騰出來然後進行組合,進行加減乘除、篩選、分組、排序就做出報表、酷炫的圖表在頁面上顯示。但其實不然,業務最重要的是數據的準確性,所以數據源基礎的準備工作是一大難點。數據源準備要一步步的核對數據,從中發現數據整合中要注意的問題。之後,關於業務包的設計比較關鍵。資料庫準備必要的模板考慮,不要受原系統的影響,要充分的理清取數邏輯,處理規則的一致性。最後是規範問題。要以業務思考的邏輯來布置頁面,盡量保證頁面設計的業務術語和樣式一致,視角效果上最好一屏展示。

【最後,相關大數據/數據分析乾貨,可以關註:帆軟數據應用研究院 - 知乎專欄】


如何開始做商業智能項目?
招聘一個數據倉庫經理就好,那個人,至少知道如何開始,呵呵。客戶不知想要什麼是很正常的,商業智能採取螺旋式開發幫用戶得到其想要的東西,而且商業智能項目是數據驅動而非需求驅動

需要注意些什麼呢?
1. 一定要讓這個東西躲在你的用戶(分析人員,喜歡分析的各級老闆,秘書)的背後。

這一點很重要,多啰嗦幾句:開始做商業智能項目的時候,一定要讓用戶相信你的系統做出的東西跟他們做的一樣兒一樣兒的,不誇張地說,甚至連錯誤也要複製過來【重中之重】。打槍地不要,QIAO悄的把一切自動化,讓用戶習慣於來你的商業智能系統做【其實是取】自己的東西,至於其去處以及有否註明出處,不必關心,關心也要悄悄地。哎,啰嗦半天也不知道說清楚沒,或者可以看一哈我寫的《靜悄悄的數據倉庫》

2. 這一點不重要,講個故事吧。。看看需要注意什麼

2000年,我開始跟著一個新加坡人做數據倉庫(ORACLE + BO),到現在我都一直是甲方。2007年,自我膨脹的厲害,我跳到一家中小企業,準備做個屬於自己的數據倉庫。當我把Teradata ,COGNOS, BusinessObjects的人叫過來演示一番,加上微軟的解決方案,作好proposal,準備大幹一場的時候,我老闆被調回法國,他老人家跟新來的CEO說我們應該選用Teradata。臨走時讓一個美國人領導我組建了商務分析部門。看到這裡,你覺得我的數據倉庫會成功么?
繼續。CEO初來乍到非常忙,我的預算也就遲遲批不下來。IT的頭兒能說會道越來越紅,一個澳大利亞人。N個月之後,IT在一台最舊的伺服器上裝了一個微軟的SQL SERVER給我用。我不屑一顧,繼續等我的Teradata預算。漫長的等待中,公司的數據變得清晰起來,清晰的髒亂差,相信大家同我一樣不會感到意外。漫長的等待中,用戶需求變得清晰起來,那種清晰絕非你在IT部門能體會得到。現在你覺得我會成功了么?呵呵。
繼續。某年某月某日,不記得是一時興奮還是惱怒,一夜沒睡,在那台破SQL Server上搭建好整個微軟BI平台,在那個破Reporting Services上發布了第一張報表,一夜不睡也許只是出於對微軟BI的蔑視(後來的SQL Server 2008 要好很多)。等著一直在路上的Teradata,
MS BI上的報告卻越來越多到300個,用戶也越來越多到100個。我已經不是一個人在戰鬥,手下太少不提也罷。想著一旦預算批下來了,報告都得重做,也就不花時間在美化上,界面也不友好,除了數字還準確,一無是處,有時也故意不修邊幅,反倒希望現在的數據倉庫越差,Teradata來的越快,有點對不起微軟。而且當有些人例行當面誇數據倉庫好用的時候,我是哭笑不得。會成功么?苦悶彷徨迷惘的時候,我就把我的數據倉庫關掉,然後等用戶因為上不去而打電話來質詢,如果十分種內收到電話,我就會很開心,這可能是唯一值得驕傲的地方。天啊!微軟BI太糟糕了,ORACLE BI 也好不到哪裡去,若不是收購了Seibel弄出個BIEE, 收購Hyperion後的BIEE什麼Plus。嗯,大公司做不出來好產品,IBM收購COGNOS,SAP收購BO。。
繼續。CEO拋出最厲害的,要我的投入產出分析,當初就那樣不正經地開始的,沒有調查用戶使用數據倉庫之前的時間花費,沒了基準線如何計算產出? 嗯,看一下上年全年使用人次,把每張報告節約的工時做個維度,把每個工時平均工資做為另外一個維度,再把公司的未來增長目標考慮進來,中間的度量僅僅人工費用的節省額已經出乎意料的漂亮,三年能生的錢那是相當地多。對了,別忘了再把軟體成本搞他個五年折舊,哈哈,統計局就是這樣把數字湊成領導想要的吧?成功了?另外還用COGNOS為我們安裝的試用版,做了儀錶板(照搬勞斯萊斯的儀錶板),CUBE啥啥的演示avi呢。
繼續。Teradata還在路上,呵呵,我問CEO是否在浪費我的時間,他說我們在澳大利亞公司的COGNOS也是嚷嚷了好幾年才上的。我想起了那頭著名的驢,為了吃眼前的胡蘿蔔大步前行。呵呵,驢也能成功?
很多數據倉庫的失敗源於花了人家的錢在人家不懂的地方,沃爾瑪的故事講了千遍了吧?如果先免費,等用戶多了可能好些,突然明白互聯網當初為什麼要燒錢。

-----------嗯,故事不長,表達能力也不好,下面的也能反映些應該注意的東西

對於終端用戶來說越簡單越好,總覺得複雜的工具才能做出簡單的東西,簡單的工具只能做複雜的東西給最終用戶,這也正是我為啥打心眼裡認為那時候做出來的東西真的不是我想要的。
每代人考慮問題的確不同,我面過一個中行的人,簽了OFFER等了他一個月,臨上班前一天說不來了,搞得我不知跟我老闆說啥好,在外國人面前我是相當愛國的。

記得當時用Netscape連上互聯網的時候,並不清楚我在幹什麼,只知道連上了。後來去天河的一個叫瀛海威時空(有點像若干年後的網吧)的地方花25?每小時,得到了對互聯網的第一個印象。有點啰嗦,就是想說互聯網之初玄於BI。後來互聯網燒錢提供免費服務來培養用戶,有了今天的google/facebook之牛x. 我想說bi也可以借鑒當年互聯網先培養用戶,等到有了漂亮的產出數字,再向ceo要錢,對我來說就是Teradata甚至進一步加要sas,對大家來說可能是別的東西,那只是個虛指。前面說到我們兩個人組建了商務分析部門,因為我那可愛的法國老闆臨走的時候英明地對我說:「你就是IT,IT幫不到你!」,結果我就拿到了公司最破的伺服器上的最破的SQL SERVER。呵呵!我也曾培訓用戶自己開發報表,後來他們搞得亂七八糟還是回過頭來問你很多為什麼,就把他們許可權關了,只留了coo的開發報表許可權,要不,真不好維護。既然說到了這裡還是提一下excel, 有些受過excel培訓的用戶自作聰明地把我們的報告弄到excel里搞來搞去,數字對不上了就來問你為什麼,他個人對數據的理解有了偏頗也來問你,甚至他把公式搞錯也來問你哪個公式錯了,當然他們的感謝話也如潮水帶來的無非是小孩子才喜歡的貝殼。往往回答這種為什麼的時間要超過那什麼的時間,而且你不知道他會啥時候來問你,有時候等他有空來問你的時候,你已經不記得該如何解釋了,還得再研究一下他那該死得excel。還沒完,要是新人來了接手他那個excel,那該死的一切,有可能再來一遍,在你忘記該如何解釋的時候!天馬行空吧,我就不提excel的安全問題啦!其實,有些用戶不喜歡bi,那是因為bi沒有人情味,因為bi不會撒謊,可那是你我都知道的bi的優秀之處,好多優秀的人也通常人緣兒不好,不是嗎?Bier們的理想應該包括消滅excel,但那只是理想,有點兒像那什麼主義是無限接近而不能到達的。又扯遠了,excel不應該是我們討論的話題。咱們回到沃爾瑪的故事,那個故事我只用過一次,當時在一個用戶培訓課堂,是想跟用戶解釋bi只是個工具,只能幫你發現你尿布與啤酒的關係,不能代替你決策,要是你資金鏈快斷裂了,就把他們遠距離擺放,要是你想提高客戶滿意度忠誠度,就把他們擺在一起。Bi的價值在於他能告訴你打破人腦也想不到的東西,能反應有點不易篡改的績效指標。(我不怎麼相信那故事是真的,怎麼看都像是有人為了解釋什麼是bi而編造的類比喻的東西,如果你由此明白了什麼是BI,當然一笑了之)。直觀上,用戶很容易感到bi會取代他們工作,所以在初期非常需要對用戶灌輸Bi只是工具的觀念。


BI只是個工具,不要高看它,跟其他項目沒有太大區別,先弄清楚需求和業務場景,如果連需求都沒有,那就自上而下好好分析下你們企業架構,把業務架構先弄出來,把達成的目標確定好,再說如何實現。


Hi Greg, 我個人覺得在你的案例中更多的強調的是data mining.
其實,我個人覺得對於大多數用戶,更關注的是對cube進行各種dimension的觀察。
兄弟不才,也是和你一樣和一幫麻瓜做遊戲。
先說說我的經驗:
BI項目是以業務數據為基礎,以深層次的業務需要為驅動,最終結果都是以展現分析為主,比如以什麼樣的數據為依託,要分析什麼指標,分析的程度有多深,用什麼樣的方式展現,對展現的結果如何鑽取到明細

幹了那麼長時間,所有CUBE層面的問題都可以歸結為一下的需求:

ETL
1. 建立子公司與總公司進行數據傳遞的介面通道
2. 建立集團統一會計規則、自動匯總賬務數據

Visualization:
1. 建立從任意EXCEL報表中取數的介面通道 (教會業務人員, 讓他們自己干)
2. 編製分析模板、自動輸出分析圖表 (教會業務人員, 讓他們自己干)
3. 在分析圖表中,定義異常數據變化的警示條件,數據變化超出該條件時系統輸出警示標誌,為分析人員提供數據的跟蹤線索。 (花點時間,設置一下)
4. 提供豐富的圖表分析的表現形式 如雙擊鑽取、拖拽旋轉、下拉選擇等,形成各種分析圖,如結構餅圖、趨勢折線圖、組合柱形圖等。 (用來騙老闆錢,這個一定要搞搞好)

哈哈,剩下的時間就是喝的咖啡,上班上網了。

關於data mining, 有時間再一起討論。


首先bi是一把手工程,你得得到最大領導的支持。其次,bi是一個業務問題,而不是一個技術問題。


首先,在立項前,企業就要明確知道立項的目的,要解決的問題。而不是為了數據而數據。
  其次,定好了項目的目標,成立項目小組,或者指定專人研究項目的可行性,研究為達到目標所需要的人力物力以及項目的範圍。從企業的內部了解企業內部的系統分布:比如系統的應用部門,數據的存儲、資料庫、中間件、運行平台、操作系統等。知道現在所能獲得的信息、方法和手段。從項目實施的外部了解這方面的諮詢廠商、產品供應商、在本行業中成功的案例。了解實現商務智能的基本技術路線、工具和實施方法論。
  接下來,就是產品的選型、產品供應商的選擇、諮詢公司的定位等。在選型時,要考慮行業的經驗、公司的綜合實力、產品與技術的優勢、方案的提供、項目實施的經驗、售後服務和產品諮詢的價格。
一旦選定了產品和服務商,下一步就是如何保證項目實施的成功。從應用角度來看:
1、商業智能是業務驅動,目標導向:一定要結合公司的實際,了解企業急待解決的問題,從老總最關心的業務主題開始,「想大做小」
2、商務智能項目應該是全員使用的「業務系統」:應該成為按照角色劃分的應用系統,高層需要了解公司的關鍵績效指標達標現狀和存在的問題,也就是關鍵績效指標的預警;管理層需要了解為什麼發生,找到原因,調整執行的戰略,對高層提出建議;分析層需要對業務進行分析和跟蹤,從而對企業的運營提出建議;執行層需要了解具體執行的情況,了解自己所完成任務的狀況。只有將系統在整個企業使用,慢慢將其變成一個「運營系統」,才會有生命力。
3、數據質量的控制: 「垃圾進垃圾出」,商務智能項目最重要的還是數據
要想成功實施商務智能項目,是一個一把手工程,需要業務部門和IT部門的配合,大處著想,小處著手,盡量做到簡單易用,讓業務部門學會分析應用。


為啥一定要用cognos,Excel作為BI的終端用戶工具也沒什麼問題吧
一味抱怨客觀環境,於人於己都沒有意義


推薦閱讀:

哪裡下載各種行業數據報告?
貓眼電影預測 戰狼2有望超過40億,很想知道,它預測的演算法是?
怎麼看待清華附小的學生用大數據分析蘇軾的詩詞?
下列圖表可以說明全球變暖是因為海盜減少而引起的么?
這類信息圖是怎麼製作的?大概用到些什麼軟體?

TAG:數據挖掘 | 數據 | 信息技術IT | 數據分析 | 數據統計 | 商業智能BI | 數據倉庫 |