zl程序教程

您现在的位置是:首页 >  云平台

当前栏目

scrapy中使用代理cookies user-agent

代理scrapy user Agent cookies 使用
2023-09-14 09:05:39 时间

在(属于下载中间件)中间件中定义
class UserAgentMiddleware():
def init():
self.useragents=[
]

def process_request(self,request,spider):
    request.headers['User-Agent']=random.choice(self.useragents)
    request.meta['proxy']='http://127.0.0.1:80'
    request.cookies={"":""}