爬蟲入門到精通-環境的搭建
01-31
本文章屬於爬蟲入門到精通系統教程第三講
IDE的安裝
IDE我用的是VS code,也用過pycharm(但是電腦配置不行,比較卡)
VScode安裝教程在這,寫的蠻清楚的
然後安裝一個python的插件就行 見如下截圖
- 點擊數字1的地方
- 在數字2的地方輸入python
- 點擊python 0.5.8 右邊的安裝按鈕
包的安裝
配置pip源,不配置的話下載速度很慢
windows:在當前用戶根目錄下,創建pip和這個文件夾,然後在裡面新建一個文件(pip.ini) 裡面的內容為
[global]nindex-url = http://mirrors.aliyun.com/pypi/simple/n[install]ntrusted-host=mirrors.aliyun.comn
截圖如下(我當前用戶名為kimga)
linux:在~/.pip/pip.conf文件中添加或修改(內容同上)
包的安裝
直接pip install 包的名字 如 pip install requests
依次安裝如下4個包
- requests
- lxml
- ipython
- jupyter
如果發現報錯的話,
- ubuntu用apt-get install python-包名
- 如 apt-get install python-lxml
- windows 在Unofficial Windows Binaries for Python Extension Packages 這個網站上手動下載然後安裝(這個網站有各種python windows擴展包,pip install 報錯的話,就可以到這個網站上下載安裝)
windows下pip install lxml 很少能安裝成功。。。
那我們怎麼做呢?
- 打開Unofficial Windows Binaries for Python Extension Packages這個網址
- ctrl+ F,然後在搜索框內輸入lxml
- 找到與你系統版本相同的包,下載
- 我的python版本是2.7,系統是64位的,所以我選擇lxml?3.7.3?cp27?cp27m?win_amd64.whl
- 下載完成後在你下載的目錄下打開cmd命令行
- 這邊有個小技巧是,找到你下載的目錄後,按住shift不放,然後空白處右鍵,會多出來一個在此處打開命令窗口,不用再慢慢的cd過來
- 然後pip install 你剛下載的文件,發現就安裝成功了
Google瀏覽器的安裝
在百度軟體中心下載
記得點普通下載(要不然有可能會收穫百度全家桶一份)
下載完正常安裝就行
安裝可以更換瀏覽器頭的插件
- 打開 google插件下載這個網頁
- 在輸入框內輸入 extension ID ffhkkpnppgnfaobgihpdblnhmmbodake
- 點擊下載
- 如果無法下載的話,就點擊鏈接加入群【Python爬蟲】:二維碼頁面,群文件裡面有。群(628522190)
- 下載完成後,打開Google瀏覽器,在地址欄輸入chrome://extensions/
- 把剛剛下載的文件拖進去進行
最終效果見下圖
總結
看完本篇文章後,你應該要
- 有一個自己熟悉的python IDE
- Python配置國內源
- 能安裝python包
- 有安裝Google瀏覽器
- 有可以更換瀏覽器頭的插件
最後,因為後續實戰我基本上都是用Jupyter notebook來寫調試的,所以請閱讀以下兩篇文章,能大概了解Jupyter notebook
Jupyter Notebook 快速入門(上)Jupyter Notebook 快速入門(下)歡迎關注本人的微信公眾號獲取更多Python爬蟲相關的內容
(可以直接搜索「Python爬蟲分享」)
推薦閱讀: