網易雲音樂爬蟲Spider163的易用性改造

Chengyumeng/spider163 在2018年發布的第一個版本是在1月1日。

在過去的一個半月中，我們發布了五個版本，主要的更新如下：

• 制定2018年的更新計劃
• python版本從v2.7遷移到v3.4
• 遷移encrypt庫
• 完善mp3文件下載功能
• 實現README.md動態標籤功能
• 實現歌單數據生成文檔的功能
• 實現網易雲用戶登錄下「評論數量TOP50」歌曲歌單創建功能。

先說用戶感興趣的

生成word文檔

在過去的時候，Spider163的主要用戶是程序員，mysql屬於常用工具並不陌生，但是對於普通用戶，安裝資料庫是一個很複雜的工作，因而我們實現了歌單數據生成word文檔的功能（beta），雖然相對於資料庫存儲，數據會簡陋一些，但是對於歌曲基本信息、歌詞、熱評等數據，做了基本的歸類和格式化，在此基礎上應該可以滿足一些用戶的「收藏需求」。

下載MP3

在一些交流中，發現用戶對於下載mp3文件存在剛性需求，因此2018年初完善了根據歌單下載歌單內歌曲mp3的功能，該功能實現對網易雲音樂站內所有在線無須單獨付費的音樂的下載功能。

該功能我們曾經寫過一篇專欄：Spider163支持下載網易付費歌曲了

生成歌單

在春節假期中，我們開發完成了一個里程碑性質的功能，就是生成評論TOP50的歌曲的歌單。該功能的意義在於，我們實現了用戶登錄狀態下的操作，目前驗證性歌單如下：

注意：該排名為TOP50逆序排列，因此排第一的歌曲實際評論數量為第50名。

後續，我們將基於登錄狀態下開發更多的功能，而今後spider163也在蜘蛛??功能以外，增加許多提高操作效率的新特性，也歡迎廣大用戶通過評論描述需求。

目前可以認定的是，知乎上任何需要人工總結的非感性（扎心評論之類）的網易雲音樂歌單，都可以通過spider163實現，日後我們會維護一組歌單。

目前網易雲音樂評論數量TOP 50歌單鏈接為：評論數量TOP50單曲 - 歌單 - 網易雲音樂

一些非功能性的故事

新的開發者

2018年，對於我們這個項目發展一個更有意義的事情是，開發者從我變成了我們，因為第一次有用戶提交了有價值的代碼，因此我合併到了master分支上。

iawia002的提交，主要是更新了spider163原來依賴的一個落後的encrypt庫。這是2018年關於Spider163最讓我開心的一件事兒，也希望未來有越來越多的人參與到Spider163的開發和產品設計中。

支持Python 3.4

另外，我克服了拖延症，終於完成了Spider163對python v2.7和python v3.4的聯合支持，在未來，應當會更傾向於支持python v3.4，但是不得不說完成這件事也是終結了一塊心病。

該功能我們寫過一篇專欄：Spider163同時支持python2.x和python3.x的演進之路

增加自動標籤

如果你會注意的話，會發現Spider163的GitHub主頁的README.md中新增了若干標籤。

這些標籤通過流行標籤生成網站 https://img.shields.io 動態生成，很多標籤以後可以實現自動化生成了，這也是目前比較流行的解決方案。

成績

220次提交，6個分支，10個版本，2個開發者，這是不到一年的時間內Spider163的開發程度。28個watch，254個star和101個fork，來源於開發者對本項目的認可。

開發計劃

在60%以上的Python代碼之外，是Spider163的web平台業務實現，在未來，該web平台會做出全面的重構，屆時將實現一個相當易用的web平台。而在2018年，Spider163將給出一個完整的k8s下部署方案，雖然對普通用戶而言意義不大，但是這是我們在技術投入上，投入更多。

項目地址：Chengyumeng/spider163

?程天寫代碼