用python爬拉鉤網關於『數據分析』工作的信息為什麼都是空的?
信息包括公司name, cate(類別), area(地區), salary(薪水)
代碼如下:
from bs4 import BeautifulSoup
import requests#網址等
url = "http://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=fromSearch=truesuginput="
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,"lxml")"""
公司name, cate, area, salary
"""
# #s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.company &> div.company_name &> a
# #s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.position &> div.p_bot &> spannames = soup.select("#s_position_list &> ul &> li &> div.list_item_top &> div.company &> div.company_name &> a")
cates = soup.select("#s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.company &> div.industry")
salaries = soup.select("#s_position_list &> ul &> li.con_list_item.first_row &> div.list_item_top &> div.position &> div.p_bot")
areas = soup.select("#s_position_list &> ul &> li &> div.list_item_top &> div.position &> div.p_top &> a &> span")print(names,cates,salaries,areas,sep="
=======
")結果:
[]
=======
[]
=======
[]
=======
[]
不是靜態網頁的數據,用這個當然搜不到.
用著幾個數據去post這個網址,才能得到你要的數據,如下,以json格式返回
推薦閱讀:
※如何使用爬蟲獲取新加坡PSI信息?
※爬蟲是不是用 Node.js 更好?
※為什麼寫的爬蟲只能爬取一幅圖,而不能全部下載所有圖片?
※要怎麼樣的訓練才能在PAT甲級考到八九十分?
※下廚房使用python的技術細節能詳細介紹下嗎??