迷上了做菜，居然用爬蟲。

前幾天電腦壞了，買一個新電腦2w5k 說時候在我的經濟範圍內有點吃不開了 。我就在想節省點開銷吧 ，然後就研究自己做菜。 找到了一個網站 ，裡面的菜譜還是不錯的都是家常菜。但是每次打開網站都的先去找菜譜，很是頭疼。

就這樣我用python 自己寫了一個腳本去爬每個菜譜的鏈接。在用kali linux 工具去吧網頁做成圖片。看一下python代碼。

#!/usr/bin/pythonnimport requestsnimport renimport osnnguiz = re.compile(<a target="_blank" href="(.*?)" title="(.*?)" class="big">,re.S)nnndef getrequests(url):n headers = {n "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36"n }n try:n s = requests.session()n response = s.get(url, headers=headers, timeout=30)n except:n passn else:n return responsenndef geturlpng(tempdate):n lens = re.findall(guiz, tempdate)n for k in xrange(0,len(lens)):n print(lens[k][0]+" "+lens[k][1])nnfor i in xrange(1,57):n tcurl = "http://www.meishij.net/chufang/diy/?&page="+str(i)n tempdate = getrequests(tcurl).textn geturlpng(tempdate)n

運行結果

簡單的使用命令去重還剩1000道菜。 妙了。

使用bash 編寫一個小腳本 我覺得系統命令使用bash語言最快。

#!/usr/bin/bashncat caipu.txt | while read LINEndon url=`echo $LINE | cut -d " " -f 1`n name=`echo $LINE | cut -d " " -f 2`n cutycapt --url=$url --out=$name".png"ndonen

運行結果

root@H0x8eWe:菜譜# ls

caipu.txt getpng.sh 五穀雜糧吐司版披薩#下午茶#.png 白菜豆卷燉排骨.png 豆沙蛋黃麵包.png

系統剛才在更新 必須重新啟動一些工具才能使用 抱歉

推薦閱讀：