爬蟲如何獲得biilbili播放數？

用av2047063舉例，訪問下面的網址：【網址已隱去】
@妹空醬 提醒我才想起來。。。。
先去自己申請一個appkey。。。在這裡：
bilibili - 提示
然後就可以對bilibiliapi為所欲為了。。。。
B站第三方客戶端就是這麼開發出來的。。。

可以看到最後兩個參數id=av號page=分p
play後面的18253即為播放數。==============================
b站有公開api啊。。。。。。。那麼麻煩幹嘛。。。

http://api.bilibili.com/archive_stat/stat?aid=170001


（隨便舉個例子，求不吐槽）
用WebRequest或者其他方法得到JSON：

{
"code": 0,
"data": {
"view": 4465790,
"danmaku": 180954,
"reply": 21133,
"favorite": 157883,
"coin": 14786,
"share": 53475,
"now_rank": 0,
"his_rank": 1000
},
"message": ""
}


有以下主要欄位：

• view：播放量
• danmaku：彈幕量
• reply：回復量
• favorite：收藏量
• coin：硬幣量
• share：分享量

隨便找個庫或者自己手動Parse一下，寫到資料庫里就可以了。
下面是C#代碼：

using System;
using System.IO;
using System.Net;
using System.Threading;
namespace BiliSpider
{
class Program
{
static int Count = 0;
static string Host = "http://api.bilibili.com";
static FileMode Mode = FileMode.Create;
static void Main(string[] Arg)
{
new Thread(() =&> Task(1000000)).Start();
new Thread(() =&> Task(2000000)).Start();
new Thread(() =&> Task(3000000)).Start();
new Thread(() =&> Task(4000000)).Start();
new Thread(() =&> Task(5000000)).Start();
}
static void Task(int i)
{
var Url = Host + "/archive_stat/stat?aid=";
var File = new FileStream(i + ".json", Mode);
var Writer = new StreamWriter(File);
while (true)
{
Console.Title = "Spider " + Count++;
var Line = i + " " + Get(i++, Url);
Writer.WriteLine(Line);
Writer.Flush();
Console.WriteLine(Line);
}
}
static int[] Parse(int Num, string Url)
{
var Section = Get(Num, Url).Split(",");
var Result = new int[Section.Length];
for (int i = 0; i &< Section.Length; i++) { Section[i] = Section[i].Split(":")[1]; Result[i] = int.Parse(Section[i]); } return Result; } static string Get(int Num, string Url) { try { var Request = WebRequest.Create(Url + Num); var Response = Request.GetResponse(); using (var Stream = Response.GetResponseStream()) using (var Reader = new StreamReader(Stream)) { var Json = Reader.ReadLine().Remove(0, 18); return Json.Substring(0, Json.IndexOf("}")); } } catch (Exception Error) { return Error.Message; } } } }

有時候會報403（Access Denied），對於出錯的數據需要另外處理。
在我的ECS上運行每小時大概能抓取100W條，全部數據大概500M。

# encoding=utf8
# author:shell-von

import requests
import re
aid = "3210612"
api_key = "http://interface.bilibili.com/count?key=27f582250563d5d6b11d6833aid=%s"
data = requests.get(api_key % aid).content
regex = r"("(?:.|#)([w_]+)").html("?(d+)"?)"
print dict(re.findall(regex, data))


嘗試了幾個，貌似都可以，那個什麼api_key是我用chrome dev tool看到他請求了倆js發現的，測試了幾個發現可以通用。。233333333

以下是測試的幾個av截圖：

dianji就是問題要的。其他的數據萬一也有要呢？我就一起抓了，dm_count是彈幕數，收藏stow_count，銀幣數量v_ctimes如果換urllib2也一樣:

urllib2.urlopen(api_key).read()

aid = 3295561;
api = "http://interface.bilibili.com/count?key=b9415053057bb00966665eaa";
data = regexp(webread(api,"aid",aid),"#(w)+D*(d)+","tokens");
data = [data{:}]


其中的第三行如果是MATLAB r2014b之前版本需要改寫webread為urlread:

data = regexp(urlread(sprintf("%said=%d",api,aid)),"#(w)+D*(d)+","tokens");


得到結果：

data =
"dianji" "108999" "stow_count" "8212" "v_ctimes" "3354" "dm_count" "6510"


說下大概的思路。
0、打開特定的av頁面，通過這條語句&

實際上，我們ctrl + u看到的頁面是網站發給我們的其中一個包而已，而最終的結果頁面是網站發給我們的多個包組合的結果。
有時候，網站會將數據封裝在json或者xml中，然後通過多個請求獲取數據，最後在本地用js來進行最後的構建。
因此，頁面上看到的內容是最後的結果，如果你要判斷這個結果來自於源頁面還是json還是xml，就需要通過開發者工具抓抓包，然後自己分析。

總之，邏輯就是：
0、這個數據哪來的？ —— 通過抓包分析
1、模擬獲取這個數據的過程。 —— 直接訪問該數據的來源url

當然還要注意你要傳的參數。這個參數從哪些地方獲取也需要自己分析。

====================================================

還是舉個例子吧。

注意：B站發回的數據是gzip，然而urllib2的urlopen不會自動解壓，需要手動處理。
可以參考這個回答：
Does python urllib2 automatically uncompress gzip data fetched from webpage?

隨便在首頁找了個頁面，地址如下：
【愛深黑切】路人女主的玩壞方法~第一彈

import urllib2
import re
from StringIO import StringIO
import gzip

cid_aid = find_cid_aid(html)
print find_how_many(cid_aid)


由於一開始並沒有察覺到B站發回的數據是gzip，所以我徹底按照瀏覽器的格式修改了header，不要在意這個細節。

答主的第一次就就交在這裡了，，，
———————————————————————————————————————
前不久學習了python，正好複習一下
代碼如下：
import re,urllib
page=urllib.urlopen("http://m.acg.tv/video/av2046040.html")
HTML=page.read()
re_times=r"&&&(.*)&"
result = re.findall(re_times,HTML)
re_title=r"&(.*)&"
title=re.findall(re_title,HTML)
print title[0],"的播放次數為",result[0]