一个简单的Python爬虫

最近研究了一下Python，学以致用，写一个小爬虫：

        基础的爬虫就是通过编写程序查看页面获取资源，简单来说也就是模拟浏览器发请求。

        那么我们需要做的也就是用程序模拟浏览器，输入一个网址，获取资源内容 。

和java相比，Python搞定需求很简单，所以选择了用Python做：

简单的爬虫分为三部：

       1.导入Python包

from urllib import urlopen

      2.输入需要爬取的URL

url = "http://www.baidu.com"

      3.获取返回信息

resp = urlopen(url)

就可以得到信息了，输出到一个新文件中，用网页打开，就能获取到爬取的百度官网页面 ：

代码如下：

# -*- coding: utf-8 -*- # 开启对utf-8的支撑

# 引入包 from urllib import urlopen

# 设置需要爬取的目标URl url = "http://www.baidu.com"

# 获取返回值 resp = urlopen(url)

# 写入文件 with open("mybaidu.html", mode="w") as f: f.write(resp.read()) # 打印结束语句 print ("finish all")

我们就可以看到一个html的页面输出了。用浏览器打开，就是百度的主页。