標籤:

知乎上有多少話題?

目前知乎上一共有多少話題?


昨天(2015年3月2日)我寫了一個腳本,從知乎的根話題開始,把所有的話題全部列了出來,一共 344150 個話題(包括根話題在內)。

腳本是基於NodeJS的,代碼如下:

var request = require("request"),
fs = require("fs");

var METHOD = "POST",
URL = "http://www.zhihu.com/topic/19776749/organize/entire",
QUERY = {
"child": "",
"parent": ""
},
HEADERS = {
"Content-Length": 0,
"Content-Type": "application/x-www-form-urlencoded",
"Cookie": "",
"Host": "www.zhihu.com"
},
BODY = "";

var maxThreadNum = 30, threadNum = 0;
var taskQueue = [["", "19776749"]];
var topicCount = 1;
var startTime;
var logFilePath = "a.txt",
fd, fws, logQueue = [], readyToCloseFile = false, hasClosed = false;

var requestCount = 0
function startRequest(){
while(threadNum &< maxThreadNum taskQueue.length &> 0){
sendRequest(taskQueue.shift());
threadNum++;
requestCount++;
}

if(threadNum === 0){
pushLog("topic count: " + topicCount);
pushLog("time cost: " + (new Date() - startTime));

readyToCloseFile = true;
}
}

function sendRequest(taskData){
QUERY.child = taskData[0];
QUERY.parent = taskData[1];
console.log("start request", QUERY.child, QUERY.parent);

request({
method: METHOD,
url: URL,
qs: QUERY,
headers: HEADERS,
body: BODY
}, requestCallback);
}

function requestCallback(error, response, body){
if (!error response.statusCode == 200) {
var responseData = JSON.parse(body);
//console.log(JSON.stringify(responseData));

if(responseData.msg responseData.msg[1].length &> 0){
for(var i = 0, l = responseData.msg[1].length; i &< l; i++){ console.log(responseData.msg[1][i][0][1], responseData.msg[1][i][0][2], responseData.msg[1][i][0][3]); if(responseData.msg[1][i][0][3]){ taskQueue.push([responseData.msg[1][i][0][2], responseData.msg[1][i][0][3]]); }else{ if(responseData.msg[1][i][1].length &> 0){
taskQueue.push(["", responseData.msg[1][i][0][2]]);
}
pushLog("[" + responseData.msg[0][2] + "," + responseData.msg[1][i][0][1] + "," + responseData.msg[1][i][0][2] + "]");
topicCount++;
}
}
}

}else{
console.log("ERROR ERROR ERROR ERROR ERROR ERROR");
console.log(error, response, body);
}

threadNum--;
startRequest();
}

function pushLog(logString){
logQueue.push(logString);
writeLog();
}

function writeLog(){
if(logQueue.length &> 0){
var log = logQueue.shift();
fws.write(log + "
", "utf-8", writeLog);
}else if(readyToCloseFile !hasClosed){
hasClosed = true;
fws.end();

//fs.close(fd); //do not close file manually, or U will get an exception in some case
}
}

fd = fs.openSync(logFilePath, "w");
fws = fs.createWriteStream("", {fd: fd});
startTime = new Date();
pushLog(startTime.toString());
startRequest();

我所使用的NodeJS版本是 v0.10.28,代碼中使用了 request 包,這個包好像目前還不能在 v0.12.x 版本的NodeJS上運行。
另外,代碼中的cookie、body、Content-Length 三個變數需要自己填寫後才能運行,否則知乎的伺服器會返回403錯誤。

我的運行環境是 Inter Core i3 + 8G RAM + 10M 光纖 + Windows 7 pro 64bit
整個跑完大概花了50+分鐘。


知乎 話題列表:電影金融心理學汽車醫學影視評論經濟學調查類問題投資生活物理學銀行生物學經濟互聯網設計法律遊戲美食首次公開募股(IPO)日本健康創業會計汽車行業美劇股票建築商業動漫動畫電視劇美國化學蘋果公司 (Apple Inc.)市場營銷財務心理諮詢音樂風險投資(VC)導演社會歷史理財生活常識投資銀行烹飪攝影教育房地產用戶界面設計 編劇 Android 數學 生活方式 電子商務 科技 裝修 中國 影視 建築設計 用戶體驗設計 旅遊 藝術 冷知識 科學 手機 旅行 交互設計 文化 美國電影 移動互聯網 美股 編程 心理 室內設計 演員 汽車設計 家居 iPhone 香港電影 漫畫 時尚 谷歌 (Google) 生理學 環境保護 電影推薦 自然科學 企業併購 金融學 人際交往 計算機 服飾搭配 科研 文學 社會學 兒童教育 基金 稅收 審計 職業規劃 社會心理學 稅務 財報 天文學 中國經濟 政治 工業設計 創業公司 產品經理 醫生 互聯網金融 神經學 藥物 統計學 上市公司 遊戲設計 小米科技 網路安全 學習 醫療 女性 工作 電影產業 駕駛 科幻 土木工程 公司 保險 日本動漫 發動機 網路遊戲 阿里巴巴集團 iOS 應用 微軟(Microsoft) 支付寶 廣告 神經科學 飛機 香港 產品設計 iOS 7 前端開發 品牌 手機遊戲 農業 中國電影 建築學 特斯拉汽車 (Tesla Motors) iOS 設計師 貨幣 程序員 股票市場 食品安全 汽車製造 騰訊 日本文化 微信 比特幣 (Bitcoin) 私募股權(PE) 光學 編程語言 體育 好萊塢(Hollywood) 大學 足球 科幻電影 電動汽車 證券 字體 OS X 紀錄片 育兒 iOS 開發 債券 量化交易 融資 日劇 留學 百度 管理 信息技術(IT) 人體 科普 城市生活 動物 電影製作 演技 漫威(Marvel) 遊戲開發 植物 數據分析 淘寶網 天使投資 城市 專利 能源 飲食 賽車 表演 超級英雄 Facebook 媒體 繪畫 電影史 裝修設計 大腦 戲劇 用戶體驗 信用卡 話劇 機械 宏觀經濟學 工作體驗 新聞 癌症 英劇 生物化學 物流 知天下(知乎欄目) 企業管理 日本動畫 亞馬遜 (http://Amazon.com) 北京 ACG 遊戲策劃 期貨 電影拍攝 計算機科學 電視 劇本 交通 流體力學 日本電影 信託 P2P 網路借貸平台 Mac 神探夏洛克(英劇) 商業地產 抑鬱症 Adobe Photoshop 移動應用 哲學 4G LTE 食物 電影院 商業銀行 網頁設計 (Web Design) 職業發展 腦科學 大數據 智能手機 娛樂 人文 貸款 美國漫畫 書籍推薦 人工智慧 互聯網產品 攝影器材 購物 閱讀 社交網路 軟體 商業模式 信息安全 四大會計師事務所 健身 航空 權力的遊戲(美劇) 財務管理 天體物理學 中央處理器 (CPU) 英語 房價 城市規劃 醫院 中國動畫 物理科普 英國 會計師事務所 材料科學 分子生物學 文化差異 軍事 平面設計 醫學常識 酒 NBA 操作系統 Python 書籍 公益 電影原聲 法律諮詢 地理 傢具 基因 籃球 冰與火之歌(小說) 著作權 產品 Linux 字體排印 學術 日常心理分析 A股 地質學 人生 倫理 銷售 理論物理 環境污染 創業法務 醫藥 翻譯 心理健康 廚房 航天 iPhone 5s 韓國電影 黑客 (Hacker) 律師 量子物理 認知心理學 自助游 電力 小米手機 精神病學 Wi-Fi 進化論 JavaScript Microsoft Windows 遺傳學 銀行貸款 家庭教育 藥學 婦產科學 食品 職業 酒店 衣服 Android 手機 學習方法 博弈論 紙牌屋(House of Cards) 餘額寶 咖啡 生活大爆炸(The Big Bang Theory) 運動 地鐵 攝影技術 傢具設計 寫作 奧斯卡 應用(軟體) 行業 數據挖掘 Android 應用 Android 開發 計量經濟學 大學生 營銷策劃 電氣工程 網站 視覺設計 企業 統計 服裝設計 動畫片 上海 心理治療 知識產權 單反相機 地震 車輛 心理調節 計算機網路 金融業 新浪微博 演算法 德國 機器學習 買房 歐洲 懷孕 通信 周星馳(人物) 心理諮詢師 石油 銀行業 動畫製作 明星 餐飲 豆瓣 職場 市場 索尼 (Sony) 安全 盈利模式 金融工程學 iPad 投資人 App Store 高鐵 進化 消費心理學 二手車 利率 建築工程 奇虎 360 顏色 遊戲運營 政府 汽車養護 結構工程 語言 電信運營商 疾病 民航 男性 日本漫畫 牙齒 交易 中央銀行 iOS 遊戲 製造業 道德 創業融資 中國移動 在線教育 匯率 飲食文化 材料 生命科學 股權 英特爾 (Intel) 京東商城 通貨膨脹 生活經歷 硬體 個人理財 微觀經濟學 經濟學常識 視頻網站 睡眠 網頁遊戲 邏輯 智能電視 攝影技巧 美學 發票 論文 交互設計師 菜譜 臨床醫學 電影特效 創業者 奢侈品 拖延現象 印度 美國文化 第三方支付 細胞生物學 求職 出國 武俠 相機 高考 哈利·波特 艾滋病 證券投資 汽車改裝 天貓 日常行為分析 故事 感情 電池 吃貨 背景音樂(BGM) 兒童心理 口腔醫學 物理化學 汽車選購 創新 搖滾樂 生物進化 人物 虛擬貨幣 環境 魅族科技 價值觀 移動通信 互聯網創業 新能源 運營 諮詢行業 犯罪 招聘 購物推薦 三星電子 (Samsung) 博物館 台灣 家庭 P2P 性格 諮詢 Java 核電站 認知科學 理財產品 零售行業 力學 室內裝修 公司法 霧霾 X 是怎樣一種體驗 字體設計 中國歷史 CSS 快遞 湖南衛視 鐵路 空氣動力學 幼兒教育 眼睛 藝術史 婦科 生物病毒 爸爸去哪兒(湖南衛視) 人性 日本料理 娛樂圈 電池技術 人民幣 寶馬(BMW) 記憶 電視節目 外匯 昆蟲 銀行卡 空氣質量 思考 法國 軟體開發 同性戀 婚姻 諾基亞 (Nokia) CG 晶元(集成電路) 醫患關係 就業 心理疾病 生物技術 心理學現象 汽車維修 建築師 戰爭 地球 韓劇 手術 熱力學 空氣污染 會計知識 Kindle 微博 單機遊戲 魔獸世界 人力資源(HR) 情緒 嬰兒 鏡頭 金庸 氣象 公益組織 稅法 IT 行業 地球科學 生物信息學 留學美國 烘焙 研究生 政策 美術 旅行攻略 駕駛經驗 電磁學 行業分析 美劇推薦 社會科學 視頻 耳機 房產 星巴克 零售店鋪 機械設計 父母 保險公司 金融 IT 搜索引擎 電商 11·11 促銷 財經 OS X 應用 兒童 產品運營 創業團隊 男裝 英語學習 審美 諾貝爾獎 花卉 房地產開發商 概率論 商業策略 排版 網上購物 視覺 麥當勞 綜藝節目 電子競技 中國電視劇 米柚(MIUI) 情緒管理 前端工程師 西餐 微電影 家用遊戲機 O2O 女裝搭配 機器人 人類 面試 密碼 品牌營銷 甜品 學術論文 導購類問題 男裝搭配 騰訊 QQ 即時通訊 (IM) 時間管理 維基百科 減肥 養生 順豐速運 音樂人 非政府組織(NGO) 藝術家 開源 化妝 禮儀 概率 有機化學 汽車銷售 財政學 雜誌 暴雪娛樂 (Blizzard) 中醫 網路營銷 音響 宇宙學 實驗 電視台 傳染病 註冊公司 Windows 8 自駕游 智能家居 諮詢公司 宇宙 藥理學 名校就讀體驗 香水 經驗 化妝品 路由器 流行音樂 女生 配音 工程學 人類學 化工 國際貿易 中國古代歷史 聯想 (Lenovo) 電腦硬體 移動開發 社會保險 對外貿易 史蒂夫·喬布斯(Steve Jobs) 科幻小說 中文字體 咖啡館 文藝 遊戲公司 支付 應屆畢業生 茶 C(編程語言) 橋樑 心理醫生 行為學 管理諮詢 植物學 戀愛心理 PM 2.5 室內設計師 古典音樂 動物保護 字幕 國際政治 自學 肯德基(KFC) 孕婦 文化產業 景觀設計 魔戒 家居設計 解剖學 醫學生 租房 手錶 創意 中國聯通 水 三國 攝影后期技術 豆瓣電影 溝通 俄羅斯 宗教 公共交通 酒文化 影視製作 C++ 交通事故 細胞 歷史人物 電動車 日本旅遊 海洋 Windows Phone 美容護膚 眾籌 雲計算 Dropbox Google Chrome 跑步 數據 葡萄酒 航空公司 食品科學 移民 國有企業 創業項目 犯罪心理學 世界盃 (World Cup) 生態學 廚藝 餐飲業 計算機圖形學 動物學 銀行業務 服裝行業 如何優雅地 X 星際穿越(電影) Instagram 技術 機場 攝影師 寵物飼養 黃金 思維 伺服器 公共關係 全球定位系統 (GPS) 顯示器 日用化學 傳統文化 中國中央電視台 (CCTV) 航空安全 數碼 眼鏡 歐洲歷史 供應鏈 抑鬱 計算機專業 魚類 烹飪常識 國內生產總值(GDP) 智能可穿戴 Twitter 推薦 韓國 3G 中國電信 遊戲機 亞馬遜中國 移動支付 精神分析 舞蹈 自殺 戶外運動 註冊會計師(CPA) Logo 設計 家庭關係 相聲 語言學 國家新聞出版廣電總局 iPhone 6 iOS 8 營養 酒店管理專業 世界 飛行員 博士 自行車 電子郵件 家裝 生物 Apple Watch 結構設計 飛行 消防 Adobe 大學專業 經驗分享 2014 年巴西世界盃 音樂產業 營養學 智能硬體 電力系統 法律常識 空調 大學教育 幽默 壓力 公益活動 材料科學與工程 版權保護 成長 大學生活 自我提升 人生規劃 鍛煉 個人成長 技能 賺錢 知識 習慣 薪酬待遇 溝通技巧 努力 護膚品 思維方式 考研 結婚 PPT 生活習慣 高級格調 禮物 朋友 智商 知識管理 高效工作 歌曲 經歷 笑話 高效學習 孤獨 演講 聊天 常識 興趣 清華大學 歌詞 鞋靴 效率 微信公眾帳號 北京生活 貓 世界觀 Microsoft Excel 年輕人 社交禮儀 中國近代史 作家 高中 公務員 大學生就業 心態 照片 職場新人 詩歌 佛教 健身教練 考試 英語口語 英語翻譯 理想 男性著裝 淘寶店鋪 社會現象 北京大學 練字 愛好 思想 生活用品 體驗 生活經驗 唱歌 中國社會 文具 說話技巧 世界歷史 iPhone 應用 勵志 第二次世界大戰 國家 有趣 表達能力 日語 相處 思考方法 學生 讀書方法 廣州市 氣質 社會心理 微信朋友圈 GTD(Getting Things Done) 筆記本電腦 肌肉 伊斯蘭教 邏輯思維 創新工場 窮游 英雄聯盟 (LOL) 吉他 北京美食 游泳 海賊王(ONE PIECE) Quora 視力保健 相對論 李開復(人物) 特許金融分析師(CFA) 民謠 鋼琴 馬雲(人物) 歐洲冠軍聯賽 簡歷 電子商務運營 法學 HTML5 歷史書籍 讀書筆記 政治經濟學 面試技巧 iPad 應用 Dota 2 陳奕迅 文案 女性健康 互聯網產品設計 實習 人體構造 圍棋 歐美流行音樂 社會化電子商務 DotA 雅思 網球 強迫症 三體(系列小說) 明朝 創業難點 社會化營銷 書法 日本歷史 睡眠質量 旅遊線路 NBA 球員 自由行 知乎日報 中華民國 Evernote 同事相處 紅樓夢(小說) 管理學 人人網 人脈 健身器材 性價比 廣告文案 Kindle Paperwhite 2 單反入門 iOS 應用推薦 跳槽 樂理 MacBook Pro 蝦米音樂網 PHP 搜索引擎優化(SEO) 英格蘭足球超級聯賽(Premier League) 減肥方法 熬夜 宋朝 騎行 B2C 「未歸類」話題 皇家馬德里(Real Madrid) 面試問題 個人發展 社交產品 近視眼 勞動法 清朝 恐怖電影 爵士樂(Jazz) 健康常識 蘋果產品 電 韓寒 唐(朝代) Google+ HTML 男性健康 微信營銷 巴塞羅那(FC Barcelona) 深圳市 失眠 手機攝影 職業選擇 團購 網易 馬來西亞航空 370 號班機空難 C / C++ 結構力學 華語流行音樂 狗 銷售技巧 紅酒 周杰倫 曼徹斯特聯隊(Manchester United) Gmail 攝影入門 華為 網站運營 電子書 社交媒體 PUA(Pick-up Artist) Web 開發 瑜伽 化學實驗 爐石傳說(Hearthstone) MacBook 歷史學 互聯網社區運營 刑法 MacBook Air 德語 嗶哩嗶哩 DIY 日語學習 項目管理 用戶研究 美國法律 軟體工程 髮型 海淘 微博營銷 思維導圖 自慰 數學建模 杭州 物聯網 (Internet of Things) 頭髮 服飾 印象筆記 編輯 乒乓球 MATLAB 火影忍者 鎚子系統 (Smartisan OS) Google Play 旅遊網站 廣告人 GitHub 穹頂之下(紀錄片) 媒體從業者 成都 資料庫 留學英國 音樂製作 南京 Java 編程 教師 留學申請 微單相機 漢語 德國留學 閱讀習慣 武漢 電子閱讀 社交恐懼症 職業生涯 國學 皮膚 ACCA 記者 Node.js 皮膚保養 洛杉磯湖人(Los Angeles Lakers) 樂器 互聯網社區 廣告設計 C# 團隊管理 基督教 極客(Geek) 考古 武器 留學日本 鼻炎 辯論 時尚穿衣 小提琴 數據結構 青春痘 軍事裝備 語言學習 手工 學習能力 西安 Microsoft Office 開店 人力資源管理 凡客誠品(VANCL) 鋼筆 外國文學 藝術設計 炒股 傳播學 電學 電子商務物流 噹噹網 書店 歷史知識 嵌入式系統 網頁瀏覽器 體育賽事 收入 科學松鼠會 死亡 高等教育 B2C 電商 精神分裂症 硬筆書法 VPN Vim 互聯網廣告 推理 設計公司 韓語 我是歌手(第三季) 男同性戀 雷軍(人物) 外語學習 插畫 焦慮症 學習規劃 聖安東尼奧馬刺(San Antonio Spurs) Ubuntu 產品體驗 熱門新聞 素描 中國互聯網 為人處世 廚師 文化大革命 PlayStation 4 3D 列印 人文學科 jQuery 國際關係 新浪 零食 鎚子科技 單反鏡頭 心理學專業 金庸小說 寫作技巧 MySQL 中國足球 單片機 粵語 Hadoop Ruby 手繪 西班牙足球甲級聯賽(La Liga) 朝鮮 王自如 茶葉 健身與減脂 八卦 記憶力 工程造價 新媒體 武術 招聘網站 西遊記 夢 Java 程序員 自動化 運動損傷 身體健康 武俠小說 日常生活 谷歌閱讀器(Google Reader) 合同 信仰 搏擊項目 西裝 電子音樂 時事熱點 膳食健康 自制力 Objective-C 策劃 Blackberry(黑莓) 旅遊推薦 警察 耳機選購 職場溝通 重慶 動物行為學 軟體測試 Java EE 美食家 中國文化 神話 佳能 文學鑒賞 通信工程 大眾點評 IT 男 邁阿密熱火(Miami Heat) Linux 開發 第三產業(服務業) 早教 B2B 工作經歷 Unity(遊戲引擎) 交響樂 澳大利亞 ThinkPad 個人職業諮詢 天津 ACM 競賽 廣州恆大淘寶足球俱樂部 Chrome 擴展程序 Windows Phone 8 淘寶賣家 巧克力 美團網 馬拉松 知奧運 桌面遊戲 Surface(微軟平板電腦) NBA 季後賽 健身減肥 自我管理 耐克(Nike) 新加坡 ZEALER 食品營養 火鍋 山地車 槍械 LGBT 植物辨識 夢想 三國演義 漢字 足球賽事 .NET iPhone 4S 圖像處理 傳媒 互聯網公司 如何選購 X 平板電腦 內衣 粵語歌曲 英語辭彙 毒品 西藏 ERP 穿衣打扮 人格 火狐瀏覽器(Firefox) 美國大學 博客 電子產品 政治哲學 中國好聲音(電視節目) 民主 留學生 智能手環 二次元 機械製造 氣候 加拿大 團隊協作 轉基因 廈門 政治學 油畫 轉行 後會無期(電影) 文藝青年 音樂欣賞 CAD 學霸 牙齒正畸 獵頭 簽證 環境工程 軍事研究 外星人 自信 X 的有趣故事 百度 SEO 陌陌 邏輯學 Git 微信運營 Flyme 勒布朗·詹姆斯(LeBron James) 工資 人體生理現象 工業 時間 娛樂八卦 網路小說 中國文學 建築施工 醫療行業 珠寶 醫療保險 聖經 尼康 日本文學 中國教育 大學生創業 視頻剪輯 生日禮物 iTunes 活動策劃 戶外 應急自救 iPad mini 搭配 結婚籌備 足球迷 PHP 開發 IT 公司 演算法設計 蘇聯 Apple Store 地圖 通信行業 數據統計 醫療器械 App 推廣 Adobe Illustrator 外交 中國政治 義大利 隱形眼鏡 電子 BAT 昆蟲學 早餐 摩托車 唱歌練習 固態硬碟 用戶需求分析 養老保險 月經 軍隊 Logo 數碼產品 互聯網行業 雲存儲 Windows 7 畢業 青春 選擇 無線路由器 搜索 水果 交流 推廣 吃 孩子 域名 寵物 火車票 出版 語文 民族 歌手 名字 飲料 圖片 老年人 優酷 軌道列車 生命 天氣 飲酒 聲音 人 親子關係 感冒 公交車 牛奶 樂隊 眼科學 輸入法 在線論壇 性別差異 家用電器 人際關係學 錢 經營 動物行為 離婚 出軌 傳銷 國外 西方文化 彩票 吸煙 外語 電信 農村 植物種植 iPhone 5 婚禮 關係 漢語辭彙 過年 屏幕 馬克思主義 代購 語言文化 教育培訓 中國人 行為心理學 大學寢室 春節聯歡晚會 論文寫作 國外生活 牙科 事業 電腦 DIY 工作經驗 超市 心理分析 英語語法 春節 辦公室 個人電腦 顯卡 社會主義 普通話 電子商務網站 鍵盤(計算機) 法律服務 價格 演唱會 迅雷(軟體) 骨科 音樂評論 穆斯林 保健 消費 KTV 中國古代文化 生意 自然 牙醫 服裝品牌 意識 程序 編程學習 人類進化 人口 企業文化 電路 高校 改革 高等數學 運動醫學 情人節(Valentine"s Day) 慈善 計算機技術 方法 製造工藝 負面情緒 3D Internet Explorer 網站開發 生育 12306(中國鐵路客戶服務中心) 機票 民俗 命運 理科 盜版 百度搜索 皮膚病 侵權 酒吧 鳥類 工資水平 收藏 輻射(物理名詞) 奶粉 能力培養 工程師 內存 (RAM) 服裝面料 測試 科技趨勢 注意力 大學專業選擇 教育學 外企 印刷 雲服務 問答網站 滑鼠 財富 志願者 X 是什麼 謠言 銀行工作 電子書閱讀器(硬體) 貿易 啤酒 辦公軟體 自媒體 新聞事件 北京地鐵 闢謠 音頻行業 三星手機 節日 計劃生育 可口可樂 建築行業 高速公路 海關 網上銀行 視力 報紙 法律專業 化學反應 親子 主持人 快遞公司 抄襲 治療方法 聖誕節 性別 Adobe Flash 玩具 影視作品 法律依據 機動車駕駛證 電梯 污水處理 市場銷售 過敏 新疆 新聞學 土地 加盟 法國留學 專業書籍推薦 人物評價 小學教育 作曲 雞蛋 焦慮 賭博 文學作品 蔬菜 Hi-Fi 中國傳統文化 出版社 城市建設 穿越 科技公司 民國史 建築結構 少數民族 LED 性格缺陷 園林 錄音 動車 營銷模式 幾何學 健美 大學教師 恐懼 評論 牛仔褲 食品健康 外賣 創意想法 人才 數碼相機 小吃 商標 市場調研 RSS 工程管理 氣味 開放平台 包 糖尿病 文物 駕校 百度地圖 三觀 手機電池 認知 移動電源 渠道 房貸 自我 流行文化 後期處理 TCP/IP 開源項目 互聯網盈利模式 後期特效 癌症治療 發明 本科生 心臟 白酒 營銷渠道 二手交易 家庭暴力 歐美 高中教育 英文字體 物價 音箱 園藝 智能手錶 音樂版權 檔案 非洲 保險業 用戶界面 語音識別 智力 密碼學 房地產行業 豌豆莢 土豆網 Safari 幼兒園 規劃 虛擬機 現代醫學 養老 太空 太陽能光伏 嵌入式開發 活動 醫療診斷 移動瀏覽器 電路設計 Samsung Galaxy 教學 加密 想像力 酸奶 味道 冷兵器 出版業 阿迪達斯 (adidas) 價值 手錶推薦 信任 隱私保護 建築材料 創作 微生物 編譯器 物理實驗 線性代數 直銷 手游運營 圖書出版 體檢 施工 日本音樂 編曲 月球 電子商務平台 歧視 中西方文化差異 身體 取名 學校 成功 人生態度 培訓 知乎使用 畢業生 方言 衛生 古代 校園生活 外國人 硬碟 房子 下載 語言表達 自由 抗日戰爭 辭職 名人 蚊子 HTC 文明 電腦維修 圖書館 網盤 Microsoft Word 奧運會 戶口 筆記本 郵箱 代碼 網路語言 香煙 畢業論文 自我認知 同性 寵物犬 人生的抉擇 送禮 整容 本科畢業生 圖片處理 保健品 公積金 父親 學歷 PDF 視頻製作 碩士 宗教哲學 軟體推薦 二維碼 會計學(學科) 殺毒軟體 應聘 考證 字體鑒別 工科 資本主義 事業單位 性取向 人權 吃飯 團購網站 泰國 寬頻 海外代購 快餐 髮型設計 生活百科 Google 地圖 精神 家人相處 運動鞋 職場心理 電器 習俗 無線網路 詐騙 內向 科學哲學 軍人 計算機病毒 學習經驗 YouTube 北漂生活 Windows XP 80 後 銷售策略 大學本科 空氣凈化器 政治制度 司法 電氣工程及其自動化專業 廣東省 煙草 公安 MacBook Pro with Retina display 洗髮水 模特 速食麵 相機選購 生理健康 如何(How To) 微信開放平台 性別平等 進出口貿易 問卷調查 發音 中日關係 姓氏 寵物醫療 QQ 郵箱 百度知道 API 毅力 寶寶 互聯網思維 聲樂 電腦遊戲 西班牙 安慰技巧 言論自由 單詞 中學教育 微積分 中國足球協會超級聯賽(CSL) 名言 飲食習慣 健身房 門戶網站 公平 985 工程大學 網易雲音樂 優雅 旅遊攻略 高考作文 胖子 理髮 危機公關 我是歌手(湖南衛視) 洗澡 文章 大學社團 欺騙 宣傳 耳朵 數據存儲 幸福感 聚會 意識形態 口腔健康 漢語拼音 膝蓋 化學成分 餐廳 日本人 西醫 火車站 健康管理 運營推廣 調整心態 SQL 戴爾(Dell) 播放器 娛樂明星 Windows Phone 7 藍牙(Bluetooth) iPad Air 交通規劃 選擇恐懼症 恐懼症 恐怖主義 美元 市場分析 採購 迷信 土木工程專業 Microsoft Visual Studio 洗衣服 美髮 人種 風俗 郭敬明(人物) 魅族 MX2 人類文明 寢室生活 360 安全衛士 戶籍 新東方 脫髮 標點符號 穿衣指南 感測器 競技遊戲 法律責任 畢業設計 水處理 英語自學


之前大概2周前,爬了一遍話題清單,結果是30009個話題,後來發現中間網斷了一次,大概漏了10個左右,這些話題是重複的。排名第一的答主說有34w多個話題,我持懷疑態度,應該沒有去重吧。

將這些話題簡單的用Gephi得到如圖結果

可以明顯的發現,未歸類下擁有最多的子節點,其他的子類最多好像是170個。

定義最近的出現的層次為節點的層級,如圖結果

第三層的差異來自未歸類。我個人認為其實知乎的未歸類在一定程度上接近知乎的早期形態。並且和中圖法,LCC類似層次分布,我認為是有明顯的專家編輯的結果,當然我認為認為之後本身是大眾標籤法。最近正在討論話題結構的由上而下的專家法,和由下而上的大眾編輯的不同。

另外,還有一個最近正在學習的冪等律,知乎的話題關注人數也類似。額,當老師都能用最小努力原則解釋齊普夫定律後,我也在嘗試解釋下圖。QAQ

============== 2017年3月20日===========

準備一次大修,重新抓取,不過這次知乎對爬蟲進行了限制,多線程20時,瘋狂429.(gevent同樣瘋狂429)
目前先降低速度重新抓取一遍, 巨慢。
之後會考慮加上代理。當前的結果和之前的結果存在較大差異,等抓取完畢後來填坑討論。事實上,之前也有文章討論過該問題。

參考文獻:

張鵬翼, 傑蘇, 張久珍. (2016). 社會化構建標籤等級的評價研究——以知乎話題結構為例. 圖書與情報, 160(04), 89.

============== 2017年3月20日晚===========

數據抓完了,但是似乎存在一些問題,主要集中於未歸類,抓取時候我的未歸類只有5000個???貼一個抓取的數據的結果。簡化為樹狀結構,每個話題的id只記錄為最早出現處。

http://h12345jack.github.io/others/2017-03-18_topicSpider.txt

============== 2017年4月6日晚=============

GG

============== 2017年5月20日晨=============

我覺得有趣的幾個畢設截圖


39584


2017.6.5剛又爬了一遍知乎話題樹看了一下。

當前知乎話題共有39584個,去過重了

話題樹的父子級關係共58992個

沒有子話題的話題共有28828個

知乎話題id列錶鏈接

vacuume/zhihu_topicids_list

話題id的前10個和後10個,可見知乎id跨度範圍,有興趣的可以試試,中間沒有的id都是不存在的。

begin

19550225

19550228

19550232

19550234

19550235

19550240

19550241

19550242

19550246

19550251

。。。。。。(中間有3.9w個)

20083263

20083266

20083284

20083288

20083297

20083306

20083320

20083360

20083372

20083464

end


時間 2016年10月11日20:41:39
65811 個
python request庫 使用sqlite保存 pybloof 布隆過濾器
代碼和數據見 知乎話題爬蟲


總數如各樓所說。

整體是個有向無環圖。

列出根話題下深度為2的看看 : - )

看來知乎還是挺 形而上 的 : - )


推薦閱讀:

哪些話題可以被創建出來,哪些應當被刪除?
知乎上的話題父子關係有何作用?
如何給問題合理地添加話題?

TAG:知乎話題 |