《邪不压正》究竟算不算好电影？通过爬取豆瓣上万条影评告诉你

暑期是学生放假的时候，也是院线神仙打架的时候，各色电影亮相大荧屏，高潮迭起，好不精彩。

今年的暑期《我不是药神》一骑绝尘，而姜文的《邪不压正》却褒贬不一，虽然上映当天豆瓣评分便由8.2跌到7.1，但单日票房却依旧过亿。

作为掌握技术Pythoner，我们除了关注彭于晏的屁股，还应该关注许晴的臀部，啊不是，应该透过现象去看清本质。

那么咱们来通过爬取豆瓣影评获取数据进行分析。

数据的获取

对于数据的获取，本文采用的是Python爬虫的方式获取的数据。用到的主要是requests包与正则包re。(注意：该程序并未对验证码进行处理。爬取内容少不会遇到验证码，但上万评论可能会跳出验证码)

爬取的内容主要是：用户名，是否看过，评论的星星点数，评论时间，认为有用的人数，评论内容。参看下图(用户名已隐藏)：

以下是Python爬虫的代码: 

import requests  
import re  
import pandas as pd  
 
url_first='https://movie.douban.com/subject/26366496/comments?start=0'  
 
head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}  
 
cookies={'cookie':'你自己的cookie'} #也就是找到你的账号对应的cookie  
 
html=requests.get(url_first,headers=head,cookies=cookies) reg=re.compile(r'<a href="(.*?)&amp;.*?class="next">') #下一页  
 
ren=re.compile(r'<span>(.*?)</span>.*?comment">(.*?)</a>.*?</span>.*?<span.*?class="">(.*?)</a>.*?<span>(.*?)</span>.*?title="(.*?)"></span>.*?title="(.*?)">.*?class=""> (.*?) ',re.S) #评论等内容  
 
while html.status_code==200: url_next='https://movie.douban.com/subject/26366496/comments'+re.findall(reg,html.text)[0]  
zhanlang=re.findall(ren,html.text)  
data=pd.DataFrame(zhanlang)  
data.to_csv('/home/wajuejiprince/文档/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #写入csv文件,'a+'是追加模式 data=[] zhanlang=[] html=requests.get(url_next,cookies=cookies,headers=head)  

△注意设置你自己的User-Agent，Cookie，CSV保存路径等

爬取的内容保存成CSV格式的文件，如下所示： 

数据的处理

虽然在爬取的时候已经非常注意爬取内容的结构了，但是还是不可避免的有一些值不是我们想要的，比如有的评论内容会出现在评论者这一项中。比如评论重复，所以还是首先有必要进行一下数据的清洗。

接下来就可以进行数据浅析，比如通过星星数判定评论质量：

plot_ly(my_dt[,.(.N),by=.(五星数)],type = 'bar',x=~五星数,y=~N) 

对评论结果的云图展示：

♦首先我们应该先进行评论的分词 

wk <- worker() 
sw<-function(x){wk<=x}  
segwords<-lapply(my_dt[,评论内容],sw)  
my_segwords<-unlist(segwords) #不要列表  
#去除停止词 
st<-readLines(file.choose())  
#读取停止词stopwords<-c(NULL)  
for(i in 1:length(st))  
{  stopwords[i]<-st[i]} 
seg_Words<-filter_segment(my_segwords,stopwords)  #去除中文停止词 

♦总体评论云图展示 

words<-table(seg_Words)%>%data.table()setnames(words,"N","pinshu")  
words[pinshu>1000] #去除较低频数的词汇（小于1000的）wordcloud2(words[pinshu>1000], size = 2, fontFamily = "黑体",color = "random-light", backgroundColor = "grey") 

由于数据太多，防止卡顿，所以在制作云图的时候去掉了频数低于1000的词汇。

云图结果如下：

可以看出，排名靠前的热词分别是姜文、不错、好看、彭于晏、剧情、看不懂等，评论确实是五花八门，当然这也是姜文电影的特点吧。

最后送大家一张希腊雕塑般美好的肉体福利