如何用scrapy爬取搜房網上小區的坐標值？

我的想法是通過網頁上的百度地圖定位來獲取經緯度，如下圖所示，網址為http://esf.wuhan.fang.com/newsecond/Map/?newcode=2611123230

後來發現地圖要用js載入出來，不能直接用xpath獲得上圖的px，py值。請問如何才能抓取到圖上的坐標值呢？

打開 Chrome 開發者工具，然後看一下那個 api 介面，然後照著參數發請求就好了。

爬蟲已經是爬動態網頁內容為主流了。這個網頁其實是特別好爬的，雖然經緯度是動態載入的，畢竟實實在在有這兩個數字。如果想自己寫程序，可以看我的專欄裡面的開源爬蟲爬動態網頁的內容。如果懶得寫程序，可以直接使用集搜客網路爬蟲。

一個網站，如果地圖是第三方的，基本上經緯度是會在網頁上出現的，就很容易爬。如果要爬百度地圖上的搜索結果，就太難了，即使勉強把經緯度給算出來，那也很沒有精度了。因為網頁上沒有這個數值，而是相對於地圖瓦片的像素位置，要反算出來，得到的結果基本上沒有意義了。

如果需要各種地理位置信息，直接搜索 poi，把網路上分享出來的poi數據集下載下來很多，也有不小的量。