巧用抓包 ― 爬遍SCU玻璃杯事件所有神回復

01-29

最近我川又搞事情了

然後info又炸了，，，

據說最開始是這樣的：

然後是這樣的：

(三張圖截圖於：四川大學官方微信公眾號）

然後一發不可收拾了，校園各處不約而同響起了摔杯的聲音，微信微博朋友圈qq空間，特么也全是玻璃碎片啊！！！

（具體就不放圖了，想直接看帖的點擊這裡：info神回復前100條）

摔碎一個玻璃杯炸出我川多少優秀段子手！據說後面還引來了武大、浙大等校觀光團。

如此空前盛況怎能錯過,寶寶決定搞點事情。

怎麼可能又摔杯！！

（話說我的杯子是塑料的好吧，還PET呢）

不胡扯了，上Info爬取玻璃杯事件100條熱門神評論，嗯先立個flag。

一、過程

搜了一下網頁版的scuinfo

首先初步觀察分析

點擊一看也是瀑布流，需要下拉刷新。

再看一下源碼，一下就懵了，什麼關鍵數據也沒有呀，用pycharm獲取一樣。可以看出採用的javascript和jquery，有點難辦了。

最先想到是用selenium定位然後截屏什麼的，結果連續報錯：無法定位到元素。

都快洗洗睡了，最後想到之前在知乎上有人用的抓包，回去翻了相關帖子，峰迴路轉。

這裡感謝這個教程。

（現在該專欄已更名為爬蟲從入門到精通系統教程）

這裡是我們要到包

點開看到每個評論真實URL地址，估計每一個評論皆有個特殊的id

將URL粘貼至瀏覽器

原來所有信息都在這個包裡面了！！！

找到所有id構造URL，requests獲取即可。

下拉找到原帖id=131599

接著就是獲取最新帖子id。

特么我在這又兜圈了！因為帖子是隨時更新的，想著可以一試selenium模擬瀏覽器。結果又定位失敗，搞了好久決定先擱置。

先去獲取和處理數據

仔細觀察數據，發現string格式的，裡面是一個dict，dict裡面data又是一個dict。

「如何將string格式轉變為dict」

百度搜到一靠譜答案。測試可用。

後面才發現這一堆原來是json格式的（回去翻基礎，難怪如此熟悉），又將eval()換成json.loads()。基礎不牢地動山搖啊。。。

提取重要信息，再從comment中提取「玻璃杯事件」評論，決定匹配正則最快。

可「如何在中文中匹配中文關鍵詞」？

之前都是在標籤中提取數據，情況少見真的把我難住了，編碼問題讓人頭痛。

滾去睡覺，第二天查資料，統統的不行啊。

靜下心想了想，pycharm獲取的數據本來就是Unicode格式的，只要源碼先不encode為utf-8，將中文關鍵詞在IDE中轉為Unicode格式，不就可以匹配的上了么？

事實如此！

四個關鍵詞：「玻璃」、「杯」、「摔」、「觀光」

pattern=re.compile(u玻璃|杯|摔|觀光,re.S)nitems=re.search(pattern,body)n

我以為接下來就是美滋滋地等待一堆數據，結果又報錯：

這個list什麼鬼?於是回去查看。原來data是空的list，估計是已經刪除的評論，所以為None。再試了下不存在的id,比如id=137945，同樣如此。

改了下代碼，可以運行。

if not isinstance(data, list):n xxx(內容）nelse:n print Nonen

返回獲取最新帖子id

曾經想過最後打出10個或以上的None然後break結束，但發現代碼無法實現，只能手動結束，心想這算什麼程序，不行。很無聊又到info上看帖去了（MDZZ。。。）

後來再打開network發獃了下，想到了。

既然打開一頁可以抓包，那麼刷新看新評論肯定也可以呀。

每次刷新頁面便會請求

URL=「http://www.scuinfo.com/api/posts?pageSize=15」，驗證了下15就是一頁總評論數，這麼簡單，為什麼之前沒想到啊啊！

（簡直想表演胸口碎大石）

篩選熱門100條神回復

先把每一項的發言、點贊、評論保存入一個list中，然後多個list放到一個大的list中（暫且叫container）。可提取的時候麻煩了，我想按照點贊數排列container中所有的list，怎麼辦呀。

試了許久，百度搜索「list集合中如何按照某一個屬性排序」，無果。

心想這是給自己挖了個坑呀，便改用dict。

繞了好久最後終於解決了。先按照點贊數大小，點贊相同時按照評論數大小。

def getSort(self):n container=self.getDetail()n print un,u將所有評論按照點贊數大小排序：n container.sort(key=lambda k:k.get(comment,0))n container.sort(key=lambda k:k.get(like,0),reverse=True)n for index,r in enumerate(container):n print unn序號：,index+1, un發言：,r[body],un點贊： ,r[like],u評論,r[comment]n