爬蟲入門到精通-環境的搭建

本文章屬於爬蟲入門到精通系統教程第三講

IDE的安裝

IDE我用的是VS code,也用過pycharm(但是電腦配置不行,比較卡)

VScode安裝教程在這,寫的蠻清楚的

然後安裝一個python的插件就行 見如下截圖

  • 點擊數字1的地方
  • 在數字2的地方輸入python
  • 點擊python 0.5.8 右邊的安裝按鈕

包的安裝

配置pip源,不配置的話下載速度很慢

windows:在當前用戶根目錄下,創建pip和這個文件夾,然後在裡面新建一個文件(pip.ini) 裡面的內容為

[global]nindex-url = http://mirrors.aliyun.com/pypi/simple/n[install]ntrusted-host=mirrors.aliyun.comn

截圖如下(我當前用戶名為kimga)

linux:在~/.pip/pip.conf文件中添加或修改(內容同上)

包的安裝

直接pip install 包的名字 如 pip install requests

依次安裝如下4個包

  1. requests
  2. lxml
  3. ipython
  4. jupyter

如果發現報錯的話,

  • ubuntu用apt-get install python-包名
    • 如 apt-get install python-lxml
  • windows 在Unofficial Windows Binaries for Python Extension Packages 這個網站上手動下載然後安裝(這個網站有各種python windows擴展包,pip install 報錯的話,就可以到這個網站上下載安裝

windows下pip install lxml 很少能安裝成功。。。

那我們怎麼做呢?

  1. 打開Unofficial Windows Binaries for Python Extension Packages這個網址
  2. ctrl+ F,然後在搜索框內輸入lxml

  1. 找到與你系統版本相同的包,下載
  • 我的python版本是2.7,系統是64位的,所以我選擇lxml?3.7.3?cp27?cp27m?win_amd64.whl

  1. 下載完成後在你下載的目錄下打開cmd命令行
  • 這邊有個小技巧是,找到你下載的目錄後,按住shift不放,然後空白處右鍵,會多出來一個在此處打開命令窗口,不用再慢慢的cd過來

  1. 然後pip install 你剛下載的文件,發現就安裝成功了

Google瀏覽器的安裝

在百度軟體中心下載

記得點普通下載(要不然有可能會收穫百度全家桶一份)

下載完正常安裝就行

安裝可以更換瀏覽器頭的插件

  1. 打開 google插件下載這個網頁
  2. 在輸入框內輸入 extension ID ffhkkpnppgnfaobgihpdblnhmmbodake
  3. 點擊下載
  4. 如果無法下載的話,就點擊鏈接加入群【Python爬蟲】:二維碼頁面,群文件裡面有。群(628522190)

  1. 下載完成後,打開Google瀏覽器,在地址欄輸入chrome://extensions/
  2. 把剛剛下載的文件拖進去進行

最終效果見下圖

總結

看完本篇文章後,你應該要

  • 有一個自己熟悉的python IDE
  • Python配置國內源
  • 能安裝python包
  • 有安裝Google瀏覽器
  • 有可以更換瀏覽器頭的插件

最後,因為後續實戰我基本上都是用Jupyter notebook來寫調試的,所以請閱讀以下兩篇文章,能大概了解Jupyter notebook

Jupyter Notebook 快速入門(上)codingpy.com圖標Jupyter Notebook 快速入門(下)codingpy.com圖標

歡迎關注本人的微信公眾號獲取更多Python爬蟲相關的內容

(可以直接搜索「Python爬蟲分享」)


推薦閱讀:

TAG:Python | 爬虫计算机网络 |