python爬蟲庫里的get請求是怎麼實現的？

12-28

如果想寫出來，需要掌握什麼樣的知識呢？

如果只是模擬一個get請求還是挺容易的。

import socket


data = b"GET /get HTTP/1.1

Host: httpbin.org

Connection: keep-alive

Accept-Encoding: gzip, deflate

Accept: */*

User-Agent: python-socket
"

url = "httpbin.org"

s = socket.socket() s.connect((url, 80)) s.sendall(data) print(s.recv(999))

爬蟲庫嘛就是封裝的http協議
而http協議就是封裝的TCP協議
你需要去看圖靈社區 : 圖書 : HTTP權威指南

單論get請求的話就是就是用socket 向一個ip地址發一個字元串這個字元串的格式是