【數據點亮生活】第一站：獲取數據

來自專欄實踐出真知之數據分析

寫在前面的話：

在我的成長經歷中，初高中階段教育給我留下最深刻印象的，似乎只有日復一日的填鴨式學習、機械化刷題和標準化考試，我們好像被鞭策著往前跑的馬，而從來沒有一門課，是可以讓我們停下來歇一歇，專門留給我們自己來了解自己，哪怕是稍稍挖掘一下自己的優勢和喜好，以進行對我們來說尤為重要的職業定位。應試化教育的弊端，在高考填志願時就立馬體現，而在後續的面臨深造或是找工作的選擇中，對於未來的發展方向的迷茫，只會增不會減。

好在，雖然沒有外界的力量驅動，我們自己充分調動起自己的主觀能動性，從學習、生活的點點滴滴、方方面面，或是各種各樣的學習實踐，每一天都更有意識地更加了解自己一點，在反覆的實踐和思考中，在和這個世界產生更多的化學反應後，拉近和世界的距離，也逐漸能聽見內心小人的聲音。

讀研階段，作為一個理工科女，對我所做的科研方向（晶硅太陽能電池）的科學研究已然非常成熟，在產線上應用廣泛，所以在經歷了多次的實驗嘗試失敗和更改課題方向後，我能否順利畢業都成了問題，這對於我未來找工作有非常大的不利，因為留給我充分準備轉行技能的時間真的不多了，秋招已經正式打響，而我還在辛勤地耕耘著我的科研論文，在畢業壓力之下毫無動彈能力。但長期持續的實驗失敗和長期出差奔波的體力腦力雙重勞累，大大鍛煉了我的扛壓能力。獨立負責和多個光伏公司、光伏研究院的緊密合作給了我獨當一面的機會，強化了我與人溝通協作的能力。導師嚴謹的治學態度和實驗關鍵階段的思路點撥，強化了我嚴密的思維邏輯和解決問題的能力。這都是我能力和品性的重要組成部分，是我一生的寶貴財富。

哈哈，這是我的第一篇知乎，不好意思，一激動就說得有點多。下面言歸正傳。

在對自我和外界進行了一番雙重探索後，未來想要從事的領域在我腦海中漸漸清晰：數據分析。非常符合我純純的理工科女生氣質。從一堆數據里，通過一些工具，來把握產品的發展方向，或者是公司乃至行業的整體動脈。對，就像醫學裡的把脈。

不過，雖然我在本科有概率論和統計學等數學基礎，但如何培養自己的數據分析思維，並運用切實有效的工具來進行數據分析呢？在知乎大神的啟發下，我開始了自己的實踐出真知。

下面，我將通過工具來做數據分析的第一步：爬取我想要的數據。

知己知彼，百戰不殆。我對某招聘網站上對目前上海提供的數據分析師崗位進行了爬蟲。

關鍵字：學歷要求：本科+碩士；公司規模：1000人以上；行業：互聯網/電子商務+金融。

得到搜索結果，共44頁。

在爬蟲工具里，進行操作如下：

並在打數機里通過設置「重複內容」為終點標誌，終止爬數據。

最後得到和網頁數相同的xml文件，將其全部打包為zip文件，並導出為Excel。

成功採集數據2166條。

小試牛刀成功！