用python爬拉鉤網關於『數據分析』工作的信息為什麼都是空的?

信息包括公司name, cate(類別), area(地區), salary(薪水)
代碼如下:
from bs4 import BeautifulSoup
import requests

#網址等
url = "http://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=fromSearch=truesuginput="
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,"lxml")

"""
公司name, cate, area, salary
"""
# #s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.company &> div.company_name &> a
# #s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.position &> div.p_bot &> span

names = soup.select("#s_position_list &> ul &> li &> div.list_item_top &> div.company &> div.company_name &> a")
cates = soup.select("#s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.company &> div.industry")
salaries = soup.select("#s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.position &> div.p_bot")
areas = soup.select("#s_position_list &> ul &> li &> div.list_item_top &> div.position &> div.p_top &> a &> span")

print(names,cates,salaries,areas,sep="
=======
")

結果:
[]
=======
[]
=======
[]
=======
[]


不是靜態網頁的數據,用這個當然搜不到.

用著幾個數據去post這個網址,才能得到你要的數據,如下,以json格式返回


推薦閱讀:

如何使用爬蟲獲取新加坡PSI信息?
爬蟲是不是用 Node.js 更好?
為什麼寫的爬蟲只能爬取一幅圖,而不能全部下載所有圖片?
要怎麼樣的訓練才能在PAT甲級考到八九十分?
下廚房使用python的技術細節能詳細介紹下嗎??

TAG:Python | 爬蟲計算機網路 |