目前大數據廣告公司的數據來源是哪裡？

12-26

比如做廣告精選投放的公司，要跟蹤採集上網者的信息，我們在百度上搜的關鍵詞它知道，我們瀏覽了什麼網站它也知道，也就是說，我們網路上一切行為它都能跟蹤？？另外，如果我在淘寶上搜某件物品，它能跟蹤到嗎？淘寶會讓它跟蹤嗎？小白，不懂：（

數據來源的事兒是個大問題，關於此事，我在微信號「計算廣告」寫過一篇文章，請參考：

關於「數據從哪裡來」這個問題，是廣告行業里偽科學、騙子和不明真相者聚集的重災區。今天咱們就來聊聊這個話題。

倒退幾年的廣告技術公司，比今天要好乾得多：只需要給客戶拋出個「精準營銷」的概念，再配合以美妙的案例故事與嫻熟的作弊手段，就可以輕鬆獲得預算。不過近年來，民智漸開，被各類靠譜與不靠譜的廣告公司輪番忽悠後的甲方市場部也明白了，沒有高質量的數據來源，所謂精準營銷不過是個幌子。所謂「皇上不急太監急」，急也沒用啊！

沒有辦法，在大數據教甚囂塵上的今天，大家只好紛紛講起了數據的概念，特別是抓住了「DMP（數據管理平台）」這根救命稻草。於是乎，今天客戶與DSP之間的對話往往呈現出下面的走勢：

客戶：你們的廣告技術有什麼特點？

廣告公司：我們是DSP，做的是精準營銷！

客戶：那麼你們DSP的數據從哪裡來呢？

廣告公司：我們有自己的DMP啊！

客戶：原來這樣。（原來哪樣啊？）

像這樣把客戶由一個不理解的概念帶入另一個不理解的概念，從而讓臉皮薄的客戶假裝明白，是一個效果很不錯的戰術。不過我們不能假裝明白，到底什麼是DMP呢？其實這裡面有幾類看起來相似，商業邏輯卻有很大區別的產品。

一、數據管理平台(Data Management Platform, DMP)

狹義的數據管理平台，主要是接受數據擁有者（可能是廣告主、也可能不是）的委託，按照其需求進行數據加工，並將加工結果用於指導運營優化、廣告投放等任務。其商業模式上做的關鍵，是「來料按需加工」，當然收取加工費用是正常的。不過既然是來料加工，就不能把「料」(數據)視為DMP的自有資產，也不能將這些數據加工結果用於指導其他客戶的商業活動。否則，很容易變成在競爭對手之間倒賣用戶的「雙面間諜」。

其實這樣的DMP，與傳統的網站分析(Web Analytics)工具有很強的關係。不過，它可以集成第三方數據採買、對接站外廣告投放渠道等功能，而這些是傳統的WA所不具備的。

二、數據交易平台(Data Exchange, DX)

這一類數據產品，是從數據擁有者那裡廣泛收集用戶數據，按照自己的邏輯和需求加工數據，並進行數據的直接或間接變現。那麼數據擁有者為什麼要給你數據呢？當然你要將變現所得與數據擁有者進行分成。其商業模式上做的關鍵，是「原材料精加工售賣」，當然原材料是要花錢買的。讀者們請注意，雖然都是加工數據，真是技術環節上區別很小，但這種產品從商業模式上上完全不同：DMP是從數據擁有者那裡拿錢，而DX是給數據擁有者分錢，這裡的差別，諸位需要細心體會一下。

數據交易往往要依附於廣告的實時競價過程完成，並且應該以ADX為中心來組織，這方面的細節這裡就不展開了。

三、受眾定向系統(Audience Targeting)

大多數DSP熱衷於討論的DSP，其實不過是一個受眾定向系統，它根據本公司所能接觸到的各種數據，得到用戶標籤或畫像，用於優化自己的廣告系統效果。由於這樣的系統並沒有對外的直接買賣交易，我們認為完全沒有必要將其稱為「DMP產品」。當然，每個DSP都在竭力聲稱自己擁有DMP產品的目的，其實你懂的。

產品搞清楚了，更尖銳的問題就來了，巧婦難為無米之炊，真正有價值的數據從哪裡來呢？筆者見到的最可怕的情景，是產品經理自己把自己都騙了：以為用起了Hadoop和Spark，建立了數據處理流程，制定了用戶標籤體系，DMP就算是完成了，也就理所應當可以提升廣告效果了。其實車造得再漂亮，沒有油也是跑步起來的。就依附於第三方DSP的受眾定向系統而言，我們把常見的數據來源和價值簡單分析一下。

一、賣身換數據。

從療效來看，賣身換數據是最靠譜的獲取數據模式。在中國，真正成規模、高價值的數據，大部分都被BAT這些一線巨頭，以及小米、360、京東等平台互聯網企業所佔有，另外像搜狗、科大訊飛、TalkingData這樣的服務或能力提供商，也有比較有價值的數據來源。第三方廣告技術公司通過賣身或下嫁於這些公司，一次性獲得穩定的數據來源，是一種可行的選擇。當然，賣身付出的代價與經歷的艱辛，恐怕也是誰賣誰知道了。

實際市場中，有些並沒有賣身的DSP，也會聲稱自己擁有了BAT某家的數據。如果沒有資本上的合作關係，這樣的宣傳十有八九是謊言。

二、運營商數據。

理論上講，運營商可以從信道上監聽到各網站和app的用戶訪問行為，似乎是力壓BAT，具有了上帝視角的數據能力。於是，「擁有運營商數據」，成了第三方廣告技術公司最愛講的數據故事。可是，實際情況遠沒有這麼樂觀：首先，隨著https的普遍採用（百度淘寶都改了，其他巨頭也快了），運營商管道上有很多高價值的數據（搜索、購物）已經拿不到了，這無疑已經廢去了多半條命；其次，移動用戶行為多發生在app內，而app與伺服器的通信很多本來就不是http的形式，而是某種私有的通訊介面，這又廢去了小半條命；另外，最致命的一點，中國的運營商是地方割據的經營制度，總部並不能將各省的用戶行為數據集中起來，如果有人說他拿到了某運營商的全國數據，就現狀而言，可以肯定百分之百是謊言。

那麼運營商的數據就沒有用的了？不然。其實運營商有一項獨有數據源，在移動時代具有非常高的數據價值，那就是用戶的位置數據。其他的Hero app與SDK也可以具有類似的能力，但是數據覆蓋率與運營商有數量級的差別。與線上行為數據可以總結用戶興趣類似，如果將位置數據與POI信息結合，完全可以將用戶的線下行為也映射成用戶興趣。這方面將來的挖掘空間巨大，不知道運營商能不能用起來。

三、DSP監聽數據。

另外一個DSP經常講的數據故事，是通過ADX的詢價請求收集用戶訪問網站的行為，在此基礎上加工用戶畫像和標籤。邏輯上講這樣的原理無懈可擊，不過實踐之中確並不靠譜。為什麼不靠譜呢？主要是從ADX當中得到的有價值的用戶行為數據，實在是太少了。讀者可以想一想，搜索、電商還是垂直行業網站這些高價值的數據源，有多少會將廣告流量送入ADX進行變現呢？實際上是少的可憐。

即使算上PMP、PDB等的廣告交易流量，恐怕DSP能監聽到的也往往是視頻網站、門戶和垂直網站首頁這樣的行為。如果打算根據用戶喜歡看羋月傳還是都教授，一天到訪了幾次汽車之家首頁來判斷他喜歡什麼樣的車，您覺得那能靠譜么？

當然，這樣的數據收集與受眾定向過程，DSP還是必須要建立起來的。不過，對其數據效果，抱著「有棗沒棗打三杆子」的態度可能比較務實，也不會有太多的失望。至於在客戶面前和市場宣傳中大談這種數據來源的巨大作用，則未免是誇大其辭的。

四、廣告主數據。

廣告主數據，也就是我們術語上講的第一方數據。雖然大規模數據來源不好找，但是對於代表需求方利益的DSP來說，拿到並利用好廣告主的數據，是比較現實可行的方案。

第一方數據主要有兩類：一是廣告主自己的網站與應用訪問數據，精細地加工好這些數據，既可以做到retageting上很好的效果，又可以用於指導lookalike的人群拓展，這一點已經為大家所熟知。不過，這往往只適用於電商、OTA、在線教育等這類在線服務類客戶；對於汽車、快消等非在線服務的客戶，靠訪問數據來指導廣告投放意義並不大。對於這類客戶，應該充分重視它們多年積累起來的CRM數據。CRM數據的作用和價值與訪問數據很相似，不過用於採用的是手機號碼、email等用戶標識，需要一套與cookie映射完全不同的方案才能用於廣告投放。對這一需求的直接支持，各大ADX做得並不好。

五、購買第三方數據。

從第三方以購買的方式獲得數據，無疑是將來合理的數據獲取方式之一——雖然它目前在中國還不是很成熟。實際上，一些擁有可觀數據來源的數據服務商，已經在探索這方面的可能性。特別是在移動環境下，DSP從用戶覆蓋量很大的應用或SDK那裡通過購買的方式得到應用安裝列表和其他信息，對於廣告投放的指導意義很大。（別忘了，DSP由於是在後台決策，對終端情況所知甚少。）

對於自己擁有大規模流量的平台來說，出售數據的意義不大。反而是那些有數據但無多少自有流量的產品，進行數據加工和變現的動力較強。我們也希望這樣的數據擁有者更多地將數據以作價的形式輸入廣告市場，讓有技術能力但無數據來源的DSP能專註於加工和利用好數據，達到雙贏的市場效果。不過，數據交易本身的問題甚多，還需要逐步解決。

小結一下，DSP及其他廣告技術公司的精準投放能力，與數據能力的關係甚大。不過，數據能力的強弱並非取決於是否開發了DMP系統，而是取決於有多少高質量成規模的數據來源。對於廣告技術公司，或賣身大平台，或立足第一方，或採買數據源，總要找到務實的立足點才好。

http://weixin.qq.com/r/0TvP163EU-Asrem0927D (二維碼自動識別)

大數據廣告公司的數據來源，有幾個主要的渠道：

給網站提供服務，順便得到數據。比如Google通過Google Analytics，幫助廣大中小網站分析用戶來源、渠道、搜索關鍵字等，順便拿到了用戶數據。又比如AddThis通過給別的網頁提供社交書籤，順便拿到了訪問用戶的數據（甚至還包括訪問用戶的社交網路帳號）。更多的情況是幫網站打廣告，包括在站內打廣告和在站外打廣告：都幫你打廣告了總得把用戶數據給我吧，要不然我怎麼知道給誰放廣告？
給廣告商提供服務，順便得到數據。最經典的例子是Integral Ad Science，原名叫做AdSafe，賣點是為廣告商篩選投放廣告的頁面。舉例來說，大多數品牌不願意在色情網站上打廣告，如果AdSafe檢測到目標網頁有色情內容，就自動禁止投放廣告。這樣一來，AdSafe不但有訪問用戶的數據，還順便拿到了廣告投放的數據，所以今年已經拉長戰線做廣告投放效果的第三方評估了（因而改名叫Integral Ad Science）。
給用戶提供服務，順便得到數據。比如說，很多網站在吸引用戶用Facebook帳號註冊時，就順便拿到了用戶的Facebook的好友、Likes等數據。
花錢買數據。可以從網站直接買，也可以從以上三個渠道間接買到。
數據共享。比如阿里巴巴和新浪微博的合作。

10%精準
40%似是而非地猜
50%胡編亂造

之前做了一個互聯網RTB廣告公司的項目，分享一下我的理解：

首先，從網上消費行為來看，數據上可以分為交易方數據和第三方數據。
舉個例子，如果你在網上買了一個錢包，那麼你在購物網站上輸入的個人資料，包括地址、身份、信用卡號碼、鞋款這些都是交易方數據。這些數據一般上是保密的，並且只是屬於交易終端方所有。按照用戶終端協議，購物網站可能將你的資料用於推廣用途，但是不得向第三方泄漏。在美國有些公司同意出售交易方數據，但目前在中國還比較少見。

另外就是第三方數據，這些就包括你的IP地址，通過什麼門戶網站，高頻率的關鍵字搜索等。這些數據主要通過cookies來收集，包括BAT、淘寶這些搜索引擎和門戶網站都是會收集用戶cookie資料。BAT這些網站一般上會提供第三方的介面，所以廣告商可以通過數據介面收集這些cookies，並轉化成用戶數據。

從現在中國互聯網數據收集的情況來說，一般的大數據廣告公司是沒有辦法獲得交易方資料的，所以他們也沒有辦法達到絕對意義上的精準投放。而第三方數據是屬於各大門戶網站的，那麼如果一家廣告公司可以獲得的門戶網站介面越多，收集到的數據越多，對某個IP的行為習慣也就能夠判斷的更準確，達到精準投放的目的。可能有人問那門戶網站自己是不是有最好的資料庫？理論上是的。比如說百度自己的關鍵字廣告出售就是基於自己的資料庫。但是，百度是沒有辦法獲得淘寶的資料庫的，所以它也是具有自己的局限性。中國互聯網廣告行業和美國有一定的區別，並沒有細分專精的DMP，DSP等。大部分都是大平台綜合型服務商。除了不做內容，其他都包。

目前對互聯網廣告商的一大挑戰是手機App內用戶行為的追蹤，目前還沒有最佳的解決方案。但是一個折中的辦法就是跟蹤你將網頁內容轉發至朋友圈的行為，並由此判斷你的興趣點。比如說我們在很多網站上有一個轉發至微博或者朋友圈的按鈕，那這個按鈕裡面就包括了cookie。話說做這個按鈕的公司把自己賣了一個好價錢啊。

另外，需要說明的是資料庫中對用戶的記錄並不是我們想像中的把你在網上的一舉一動全部記錄下來，寫在小黑板上，好像有個特工對你進行24小時監測。數據公司會把你的網上紀錄按照特定的數據模型歸類成一個標準模版。這個模版具有多個參數，並且可以按照廣告主的要求進行篩選。舉個例子，一個模版可能包括下面的內容：
IP：1112.111.111.111
性別：男
年齡：20-25
地區：北京
上網時間：晚上
設備：mac，iphone
消費能力：中
喜好：汽車、足球、遊戲

大數據本身除了要有數據、採集、匯聚一定量的數據之外，更重要的是數據的處理、挖掘、分析、可視化、應用這樣一整套的過程。

關於大數據的話題，基本圍繞三個問題展開：一是數據從哪裡來，二是數據如何進行分析，三是數據如何進行商品化。任何大數據都是以應用為主的，在未來，通過多維度、多複合的大數據的精準挖掘，最終提供出優質的商務解決方案才是最關鍵的。

數據的三個來源分別是政府、企業行業和個人消費。政府數據做了授權，但由於法律和其他方面的不健全，政府數據被濫用。消費者數據來源於電信、金融或類似BAT大企業，流量入口處的數據將被自動抓取，數據提供商可以提供所有維度的數據，但每一個都是局部。

大數據產業鏈里要想長久發展，必須精通大數據的模型、演算法以及數據特徵，同時對行業及生態要有明顯的敏感性。而演算法提供商如果僅僅依賴單純演算法，未來將成為成長軟肋。

在不久的將來，大數據、雲計算、人工智慧、物聯網，經過數年的發展，將完全融入我們的生活，我們應該對其進行擁抱，建議大家有時間，可以留心關注這方面的信息資訊，學術，科普類的平台，多智時代：http://duozhishidai.com ，雷峰網——讀懂智能未來等等，讓我們一起迎接人工智慧時代的社會、經濟與文化變革，擁抱智能，暢享未來

國內的時趣（互動）科技所謂擁有強大的大數據管理系統......
呵呵，只不過時前幾年拿到了新浪微博的一個數據埠而已～
現在早已沒什麼大數據能力，只是用來吹噓自己的一個說法而已。

敢說自己擁有大數據的當屬調研公司吧

1. 線下survey
2. 運營商
3. 網路

1.流動數據。也可以稱之為物聯網，這些數據可接連到您的IT網路連接設備。當這些數據來到您的網路設備上時，您需要進一步對其分析來決定那些數據是否有意義，其中有意義的可以保留，而那些沒意義的則可以刪除。關於流動數據的更多理解，您可以閱讀其相關白皮書。

2.社交數據。社交數據在社交互動中越來越具有吸引力，尤其是它的營銷功能。但是這些數據通常是在非結構化或半結構化形式,對於一個公司當使用和分析這些數據信息的時候，不僅要考慮數據的規模,大數據應用也是一個獨特的挑戰。

3.公開來源。龐大的數據可以通過打開數據源，像美國政府的數據，CIA世界各國概況或者歐盟開放數據門戶等等。

不好意思，原答案不夠切題，劃掉重寫。
數據來源分兩部分：數據採集、第三方數據調用。
題主對於數據採集明顯不夠了解，百度是不可能採集到淘寶網數據的，同樣，淘寶也採集不到百度的數據。
題主所提到的搜索或者購物行為被跟蹤是因為，題主訪問的目標站跟百度或阿里有合作關係，打通了id體系，才能獲得到百度和阿里的所謂精準數據。

以下為原答案：

首先，大數據要有價值，必須要有完整且可追蹤的帳號體系，即識別數據是誰產生的（看似簡單，實則很難，特別是在用戶未登錄帳號，或者沒有建立有效帳號體系的一前提下）。

bat的大數據肯定只是服務於各自的帳號體系，帳號體系最好的是騰訊，其次是阿里，最後是百度。
如果能打通bat三家的帳號體系，無疑可以打造出一個最精準的大數據平台。然而這不太現實。

所以出現了第三方dmp，一般以ip、設備信息作為id體系的一部分。這類dmp平台一般自己就是數據統計平台（如talkingdata），然後會向運營商、軟體開發商、其他第三方統計平台採購數據（目前法律界限模糊）。

另一種模式就是大數據服務。像美國的palantir，是依託美國政府或金融機構收集的數據，為政府或金融機構定製大數據服務。

大部分都外包給小公司了，

別聽他們吹牛逼，

:）

發現一個可以下載數據的地方，有興趣的去看看把論壇推廣獎勵任務,論壇公告,數據圈論壇

來自地精的「努力」

瀏覽器、流氓軟體、預裝app都可以搜集數據

一些公司通過在第三方加入惡意代碼獲取你的cookie比如 http://weibo.com/5374312333/DzD4TvjN4?from=page_1006065374312333_profilewvr=6mod=weibotime

提供一個思路，某路由器公司聯合子公司免費贈送路由器，通過路由器的後門上傳客戶瀏覽的網址數據，該公司有自己的大數據平台！很多公司搶佔互聯網入口就是這目的吧

你在淘寶上搜某詞，不會被跟蹤到，很多「你」搜「某個詞」就可以被跟蹤到了.............這個就是「熱詞」啊。

廣告公司的確一手數據比較少，但專業的廣告公司，比如4A公司，都有自己專業的大數據分析團隊，除了上面回答中的各種用戶行為信息外，目前利用微博、論壇、點評、電商評論等來分析廣告產品的消費者評價，以及進行消費者畫像。通過這些互聯網公開的大數據分析，為廣告方案策劃提供基礎數據支撐，同時也可以為廣告主提供專業的數據分析報告，感覺未來在這方面廣告公司還是大有可為的。

說個具體案例吧，的確這裡要做硬廣了，有興趣的可以了解瑞雲大數據（http://www.reidx.cn）。下面圖片的思維導圖標籤，就是一個4A廣告公司利用我們的系統所做的產品深度分析調查，他們獲得每一個標籤下的網友評論數據後，基本上可以非常有針對性地對該產品進行廣告策劃和營銷指導，同時也可以反饋給廠家更為精準的客戶分析報告，絕對比原來的電話調查、路邊訪談靠譜的多。

廣告公司的數據大部分都是二手三手數據廣告公司自己基本沒有一手數據一手數據都在媒體和廣告主手中大數據廣告公司說白了就是玩概念忽悠唄什麼精準營銷大數據分析狗屁實際操作起來啥都分析不了