爬虫日记(24)：Scrapy 中设置随机 User-Agent

在开发爬虫过程中，经常会发现反爬措施非常重要，其中设置随机 User-Agent 就是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行学习。最近使用 Scrapy 爬一个网站，遇到了网站反爬的情况，于是开始搜索一些反爬措施，了解到设置随机 UA 来伪装请求头是一种常用的方式，这能够做到一定程度上避免网站直接识别出你是一个爬虫从而封掉你。设置随机 UA 的方法有挺多种，有的需要好多行代码，有的却只需要一行代码就搞定了。

user agent是指用户代理，简称 UA。

作用：使服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但也可以通过改变UA绕过检测。

如果只想设置一个固定的UA，那么可以直接在settings.py文件定义就可以了。在这一步之前，我们先来查看一下，scrapy缺省工程里使用的UA是什么，那么又怎么样来查看这个UA的值呢？

带着这个问题，我们回到前面的一个例子，就是那个抓取名言的例子（