zl程序教程

您现在的位置是:首页 >  后端

当前栏目

python抓取豆瓣图片并自动保存示例学习

Python自动学习 示例 图片 保存 抓取 豆瓣
2023-06-13 09:15:15 时间

环境Python2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块

复制代码代码如下:

#-*-coding:utf8-*-
#2013.12.3619:41wnlo-c209
#抓取dbmei.com的图片。

frombs4importBeautifulSoup
importos,sys,urllib2

#创建文件夹,昨天刚学会
path=os.getcwd()        #获取此脚本所在目录
new_path=os.path.join(path,u"豆瓣妹子")
ifnotos.path.isdir(new_path):
 os.mkdir(new_path)


defpage_loop(page=0):
 url="http://www.dbmeizi.com/?p=%s"%page
 content=urllib2.urlopen(url)

 soup=BeautifulSoup(content)

 my_girl=soup.find_all("img")  

   #加入结束检测,写的不好....
 ifmy_girl==[]:
  printu"已经全部抓取完毕"
  sys.exit(0)

 printu"开始抓取"
 forgirlinmy_girl:
  link=girl.get("src")
  flink="http://www.dbmeizi.com/"+link

  printflink
  content2=urllib2.urlopen(flink).read()
  withopen(u"豆瓣妹子"+"/"+flink[-11:],"wb")ascode:  #在OSC上现学的
   code.write(content2)
 page=int(page)+1
 printu"开始抓取下一页"
 print"the%spage"%page
 page_loop(page)

page_loop().