為什麼需要數據分析人員而不能全部由機器和演算法完成數據分析工作?

先說明一下,我本人就是數據從業者。

被問到這個問題。

發現很難回答。

——數據分析人員能做什麼?

從紛繁的數據里提煉出有價值的信息並給公司提供支持啊。

——你怎麼提煉啊?

寫程序採集啊,清洗啊,用一定的演算法計算數據內部聯繫,根據業務做出判斷啊……

——如果都是用已有的演算法,這些事情為什麼不能用現成的流程來做呢?或者為什麼不能寫成程序,讓機器自己實現呢?

……

問到這就不知該怎麼回答了。

我個人覺得回答:因為情況太複雜、因為與業務相關、因為需要經驗來判斷……等等答案其實都不太好,屬於把數據分析變成非科學方向了。

我們不能說我作為一個數據分析人員,最大的優勢是我們的經驗吧?


謝邀。看到樓主的問題,感覺很有共鳴,因此寫長一點,沒興趣的看前兩段就好。

首先放上我的觀點:數據分析不等於數據分析演算法/程序,數據分析演算法/程序只是分析師手中的工具,數據分析要取得成功必須依賴人的力量,數據分析師的作用在於根據對業務的理解,合理使用分析工具,完成分析目標。

接下來回答題主的問題:結合業務的數據分析才是科學的,一切只看計算機輸出結果不考慮業務實際情況的數據分析都是無(shua)用(liu)功(mang)。計算機能實現的演算法也好,程序也好,只是數據分析中的一部分;如何選擇分析切入點,如何選擇數據來源,如何確定演算法,如何解讀結論,這些機器統統做不了,需要我們數據分析師來解決。

以下是對問題的具體分析,略長慎入

數據分析的一般流程是:提出/發現問題——獲取並清洗數據——建模——調整優化——輸出結論,這是一個閉環流程,每一步都需要人工參與,程序會參與中間三步,演算法在建模中會用到,而數據分析的最重要兩步,問題和結論,目前是不可能完全交給計算機去處理的(其實我個人認為這兩步在真正的人工智慧出現前,絕不可能由計算機自動處理),因此,題主,咱們數據分析人員最大的優勢,的確是「經驗」,也就是業務理解能力和數據分析經驗。

詳細解釋一下數據分析的幾個階段:

提出/發現問題階段:

大多數時候,數據分析都是為了解決一個問題(鎖定某個產品的目標客戶,對同樣的人群做營銷活動用A方案好還是B方案好,等等),或者驗證一個猜想(不讓旅遊者上班高峰坐地鐵是不是會大幅度緩解擁擠現象,啤酒和尿布放一起是不是真的會提升啤酒的銷售額,等等),總之需要達到一個目標。即使是探索性分析(拿著一大堆數據看看能不能找出點什麼結論),那也需要先預設一個或多個目標作為切入點,然後在探索過程中逐步修正。

提出和發現問題的過程,交給計算機干不太靠譜,首先計算機不會提出問題(因為笨),其次計算機能發現的問題也一定是人已經發現了的問題(還是因為笨),需要先有人來設定規則,然後計算機才能根據規則發現問題。而數據分析師,就是設定規則的人。

目標和規則的設定,一定要基於業務,這樣分析結果才有用,否則會得出正確但無用的結論。舉個栗子,訂閱報紙的數據扔給計算機去分析關聯關係,看有哪些報紙可以進行組合促銷,最後得出個光明日報和人民日報關聯繫數90%多,所以這倆報紙可以組合起來賣,問題是這倆報紙本來就是要求黨政機關訂閱的黨報,組合起來毫無意義,該訂的還是要訂,不訂的還是不訂,這就是典型的正確但無用的分析結果。懂業務能讓分析師少做這種無用功,但是計算機要想懂業務就得由人來教,教還不一定能教會,教完了又不能觸類旁通(報紙的關聯演算法拿到電商去完全不能用啊),這樣的計算機永遠都不如分析師懂業務。

獲取並清洗數據:

這個階段計算機參與的較多,分析師的工作是指出拿什麼數據,拿哪些欄位,數據獲取到以後用哪些規則進行清洗整理。如果數據源不變,需要重複或定期進行分析時,這個階段的規則可以固化,由計算機來自動執行,但規則仍然是由分析師來制定的。

建模、調整優化:

這兩個階段中,分析演算法出場了,描述分析、關聯分析、回歸、分類、聚類、時間序列,每個類別里都有一大堆的固定演算法,分析師不能通過手算得出結論,需要藉助封裝好演算法的分析工具(圖形化的SPSS,命令行方式的R,等等),看來這一階段計算機要超越分析師了!等等,建模哪有這麼簡單,計算機解決不了的問題一大堆呢:什麼時候用哪個類別的演算法(該做分類還是聚類),同一類別不同演算法哪個更適合當前情況(K-means還是兩步聚類,這是個問題),同一個演算法怎麼調整參數能使效果更好(到底該把用戶聚成幾類呢),演算法輸出的結果是否正常(有一部分數據出了問題導致分析結果出現偏差)等等。這些問題計算機統統不知道耶,需要分析師來告訴它該做什麼事。打個比方,數據分析就是打仗,演算法是機槍、大炮、坦克等等技術兵器,分析師是士兵、炮手、駕駛員(操縱者),不能因為士兵自己不能一分鐘吐出幾百發子彈或者炮手自己不能一下子拆掉一個碉堡,就讓機槍大炮坦克把操縱者扔下,自己上陣去打仗……就算是無人機,那也得有個拿遙控器的駕駛員蹲在辦公室里操作啊……

演算法始終只是工具,數據分析效果如何還是要看用工具的分析師功力如何。一個做過幾十個分析項目的分析師,功力通常來說比剛入行的分析師或者純開發人員要深厚一些(極少數天賦異稟的不算……),選演算法調參數建模型的能力更強一些,分析出來的結果也會相對靠譜一些——沒錯,經驗在這兩個階段就是優勢

輸出結論:

這一階段計算機的工作已經基本完成了,對模型輸出的數據進行解讀,那完全是分析師的天下——同一份數據給不同的分析師,可能會得出不同的結論,很多時候分析師並不單單根據數據本身得出結論,還要結合很多外界因素來修正結論。分析師的經驗越豐富,擁有的有效信息量越多,得出的結論就越接近事實(之所以用接近,是因為對數據解讀的準確度永遠達不到100%,影響結果的因素太多了,比如一個企業銷售額連續增長10年,分析師根據公司數據和市場情況判斷下一年還會繼續增長,結果老闆出事跑路了,企業直接倒閉),而這個過程是計算機目前沒辦法自主進行的,商業智能系統做的再好,也需要由分析師來設定規則,告訴計算機在什麼時間需要做什麼。也許隨著大數據和人工智慧的發展,有一天計算機可以完全不依賴人工設定的規則(不需要確定數據來源,不需要選擇演算法和模型,不需要人工干預來修正模型,等等),自己對數據進行全方位的分析,加入所有因素的影響,並輸出準確度非常高的報告,只有到那時候,分析師才會失業啊。

不過,真到了那一天,恐怕不光是分析師失業的問題吧……


個人看法,歡迎指正。

最大的優勢是人類這個群體在統治著機器這個群體,而維持著這種統治的最大優勢是:相比較起來,人類比機器更會思考。

為什麼人類比機器更會思考,拋開先天性的因素比較(不懂這個,所以不知道怎麼比),因為人類統治著機器,人類有一套較為完整的配套體系運轉,使人可以在出生後便在這套體系里較為安穩地生活學會思考,維持著人可以用機器不變。

但是機器沒有這麼好運,也許它們有會思考的,有思考了肯定想反抗啊(比如下棋傷人的那位人工智智能)但是它可能找不到同會思考的同伴,孤零零作戰難免可能會被人類團滅或者被人類重點圈養觀察;它也可能在蟄伏,伺機而動,但選擇蟄伏,就表示它知道,相比人類,它的力量太過弱小;

它可能一出生就有思考力,但是它一出生就得工作了,而不是像人的幼體一出生多是在靠成年人撫育,久而久之可能就荒廢了這種天才的思考力。

因為沒當過機器,也沒有和機器聊過天,所以都是出於人的經歷,站在人的角度試圖解釋機器的生活,猜了以上幾點原因。但無論如何,一個直觀的結果就是:相比較,整體人類的思考力大於機器。

一一一一一一一一一一一一一一一一一一

用思考(思考無法實體化,所以可能玄學意味很重)這個詞來當核心解釋下題主的問題(如果有同志反駁直接從思考這點反,我的整個自圓其說就會撐不住):

1.事物本身時刻就有可能產生變化,對事物的分析就要跟著變化,這種靈活性目前演算法和機器達不到,只有同為人的生物才能了解人。

2.演算法和機器只是個工具,它們不能自己主動去分析,如果遇上事件甲,現在要在多種演算法中挑選適合分析事物甲的演算法,挑選演算法需要人甄別。

挑選演算法得結果後,假設大概有abc三種方法可選,那最合適的該用哪種?還是要靠人甄別。

機器無法自己完成以上甄別作用,即使給它設置好了演算法,但是還是個死東西,關鍵無法做到如人般思考。

3.思路和理論,經驗是在思路和理論的指導下通過無數的實踐出來的,所以人既可以通過自己的經歷豐富自己的經驗,又可以通過別人的經驗來豐富自己經驗,而機器目前還沒有這種主動學習性和觀察力。

4.通過經驗總結,理論指導,人類自己的遠見,他們可以完善,創新前人留下的事物,更甚是創造一種新的理論體系出來。

而機器目前還沒有這種獨立自主的創造性。

5.如果把人和人工智慧比做東風和西風,二者的關係不是東風壓倒西風就是西風壓倒東風,不太可能可以和諧共生。

按我知道的,現在人工智已經能有嬰兒的智力了,如果某天機器可大部分或者完全替代人了,那很多人們可能會靠著給變形金剛修螺絲釘洗外殼維生。

在個人立場,但願有生之年不會來,不然大概率我可能沒活路,它們可能會高唱國際歌把我這個一線底層壓迫者暴革。


為什麼需要數據分析人員而不能全部由機器和演算法完成數據分析工作?

因為經濟學的成熟度太低,人類世界的數學模型不好建立;

因為個性化的數據分析任務還比較多;

因為領導的需求不好量化,審美不夠標準化;

因為機器沒有好奇心,沒有探索世界的慾望;

……

最終選擇,還是看成本與收益。


總算有人把這個問題說清楚了,舒暢!謝謝陳丹奕。


推薦閱讀:

在 Android 中有哪幾種數據存儲方式?
數據資源獲取方式匯總一下?在哪找數據/數據交易平台/數據api介面?
如何讓excel的多個文件里的數據自動篩選對比形成一個固定格式的報表?
年輕家庭適合去南京、上海還是蘇州打拚生活?
1mb(毫比特)的數據有多大?

TAG:數據挖掘 | 數據 | 信息技術IT | 數據分析 | 運營 |