您现在的位置是：首页 > Python

当前栏目

Python爬虫Selenium使用

Python 浏览器对象

2023-03-02 11:22:57 时间

## 1.Selenium ##

### 1.1 什么是selenium ###

*  Selenium是一个用于Web应用程序测试的工具
 *  Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样
 *  支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动  
    真实浏览器完成测试
 *  selenium也是支持无界面浏览器操作的

### 1.2 为什么使用selenium ###

模拟用户操作浏览器，自动执行网页中的js代码，实现动态加载

### 1.3 如何安装selenium ###

*  操作谷歌浏览器驱动下载地址
    
    > http://chromedriver.storage.googleapis.com/index.html
 *  谷歌驱动和谷歌浏览器版本之间的映射表
    
    > http://blog.csdn.net/huilan\_same/article/details/51896672
 *  查看谷歌浏览器版本
 *  pip install selenium -i https://pypi.douban.com/simple

### 1.4 selenium的使用步骤 ###

*  导入：
    
    > from selenium import webdriver
 *  创建谷歌浏览器操作对象：
    
    > path = 谷歌浏览器驱动文件路径

> browser = webdriver.Chrome(path)

*  访问网址
    
    > url = 要访问的网址  
    > browser.get(url)

# (1）导入selenium
    from selenium import webdriver
    
    # (2) 创建浏览器操作对象
    
    # path = 'chromedriver.exe'
    # browser = webdriver.Chrome(path)
    browser = webdriver.Chrome("C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe")
    
    # （3）访问网站
    url = 'https://www.jd.com/'
    browser.get(url)
    
    # page_source获取网页源码
    content = browser.page_source
    print(content)

> 注意：在第二步中，chromedriver.exe的路径，如果chrome的安装不是你默认安装的，你需要手动填入chrome的安装路径，并把chromedriver.exe文件拷入与chrome.exe同目录下。
> 
> 这地方是个小坑。

### 1.5 selenium的元素定位 ###

元素定位：自动化要做的就是模拟鼠标和键盘来操作来操作这些元素，点击、输入等等。

操作这些元素前首先要找到它们，WebDriver提供很多定位元素的方法

*  find\_element\_by\_id
    
    > button = browser.find\_element\_by\_id(‘su’)
 *  find\_elements\_by\_name
    
    > name = browser.find\_element\_by\_name(‘wd’)
 *  find\_elements\_by\_xpath
    
    > xpath1 = browser.find\_elements\_by\_xpath(’//input\[@id=“su”\]’)
 *  find\_elements\_by\_tag\_name
    
    > names = browser.find\_elements\_by\_tag\_name(‘input’)
 *  find\_elements\_by\_css\_selector
    
    > my\_input = browser.find\_elements\_by\_css\_selector(’\#kw’)\[0\]
 *  find\_elements\_by\_link\_text
    
    > browser.find\_element\_by\_link\_text(“新闻”)

from selenium import webdriver
    
    browser = webdriver.Chrome("C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe")
    
    url = 'https://www.baidu.com'
    browser.get(url)
    
    # 元素定位
    # 根据id来找到对象
    button = browser.find_element_by_id('su')
    
    # 根据标签属性的属性值来获取对象的
    button = browser.find_element_by_name('wd')
    
    # 根据xpath语句来获取对象
    button = browser.find_elements_by_xpath('//input[@id="su"]')
    
    # 根据标签的名字来获取对象
    button = browser.find_elements_by_tag_name('input')
    
    # 使用的bs4的语法来获取对象
    button = browser.find_elements_by_css_selector('#su')
    button = browser.find_element_by_link_text('直播')

访问元素信息

*  获取元素属性：.get\_attribute(‘class’)
 *  获取元素文本：.text
 *  获取标签名：.tag\_name

from selenium import webdriver
    
    browser = webdriver.Chrome("C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe")
    
    url = 'http://www.baidu.com'
    browser.get(url)
    
    button = browser.find_element_by_id('su')
    # 获取标签的属性
    print(button.get_attribute('class'))
    # 获取标签的名字
    print(button.tag_name)
    
    # 获取元素文本
    a = browser.find_element_by_link_text('新闻')
    print(a.text)

交互

*  点击：click()
 *  输入：send\_keys()
 *  后退操作：browser.back()
 *  前进操作：browser.forword()
 *  模拟JS滚动：
    
        js='document.documentElement.scrollTop=100000'
        browser.execute_script(js) 执行js代码
 *  获取网页代码：page\_source
 *  退出：browser.quit()

from selenium import webdriver
    
    # 创建浏览器对象
    browser = webdriver.Chrome("C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe")
    
    url = 'https://www.baidu.com'
    browser.get(url)
    
    # 引入时间
    import time
    time.sleep(2) # 休眠2秒
    
    # 获取文本框的对象
    input = browser.find_element_by_id('kw')
    
    # 模拟用户在文本框中输入周杰伦
    input.send_keys('周杰伦')
    
    time.sleep(2) # 休眠2秒
    
    # 获取百度一下的按钮
    button = browser.find_element_by_id('su')
    
    # 模拟用户点击按钮
    button.click() 
    
    time.sleep(2) # 休眠2秒，等待查询结果
    
    # 模拟用户操作，滑到底部
    js_bottom = 'document.documentElement.scrollTop=100000'
    browser.execute_script(js_bottom)
    
    time.sleep(2)  # 休眠2秒
    
    # 获取下一页的按钮
    next = browser.find_element_by_xpath('//a[@class="n"]')
    
    # 模拟用户点击下一页
    next.click()
    
    time.sleep(2)  # 休眠2秒
    
    # 回到上一页
    browser.back()
    
    time.sleep(2) # 休眠2秒
    
    # 回去
    browser.forward() # 休眠2秒
    
    time.sleep(3) # 休眠3秒
    
    # 模拟用户关闭浏览器
    browser.quit()

## 2.Phantomjs ##

由于Selenium是完全模拟用户操作浏览器，页面都是完全渲染出来的，这样势必会影响效率，所以需要Phantomjs来提升一下运行效率。

### 2.1 什么是Phantomjs ###

*  是一个无界面的浏览器
 *  支持页面元素查找，js的执行等
 *  由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多

### 2.2 如何使用Phantomjs ###

*  获取PhantomJS.exe文件路径path
 *  browser = webdriver.PhantomJS(path)
 *  browser.get(url)

> 扩展：保存屏幕快照:browser.save\_screenshot(‘baidu.png’)

from selenium import webdriver
    
    # 加载phantomjs.exe的方法不同，路径和上面说的一样
    browser = webdriver.PhantomJS("C:\\Program Files\\Google\\Chrome\\Application\\phantomjs.exe")
    
    url = 'https://www.baidu.com'
    browser.get(url)
    
    # 截取快照，并保存
    browser.save_screenshot('baidu.png') 
    
    import time
    time.sleep(2) # 休眠2秒
    
    input = browser.find_element_by_id('kw')
    input.send_keys('昆凌')
    
    time.sleep(3) # 休眠3秒
    
    # 截取快照，并保存
    browser.save_screenshot('kunling.png')

> 执行完后，会在项目的根目录下，多两张图片，一张是baidu.png，一张是kunling.png

## 3.Chrome handless ##

Chrome-headless 模式，Google 针对 Chrome 浏览器59版新增加的一种模式，可以让你不打开UI界面的情况下使用 Chrome 浏览器，所以运行效果与 Chrome 保持完美一致。

### 3.1 系统要求 ###

> Chrome  
> Unix\\Linux 系统需要 chrome >= 59  
> Windows 系统需要 chrome >= 60  
> Python3.6  
> Selenium3.4.\*  
> ChromeDriver2.31

### 3.2 配置 ###

from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    chrome_options = Options()
    chrome_options.add_argument('‐‐headless')
    chrome_options.add_argument('‐‐disable‐gpu')
    # path是你自己的chrome浏览器的文件路径
    path = r'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe'
    chrome_options.binary_location = path
    browser = webdriver.Chrome(chrome_options=chrome_options)
    browser.get('http://www.baidu.com/')

### 3.3 配置封装 ###

from selenium import webdriver
    
    # 这个是浏览器自带的 不需要我们再做额外的操作
    from selenium.webdriver.chrome.options import Options
    
    # 封装成函数
    def share_browser():
        # 初始化
        chrome_options = Options()
        chrome_options.add_argument('‐‐headless')
        chrome_options.add_argument('‐‐disable‐gpu')
    
        # 浏览器的安装路径 打开文件位置
        # 这个路径是你谷歌浏览器的路径
        path = r'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe'
        chrome_options.binary_location = path
        browser = webdriver.Chrome(chrome_options=chrome_options)
        return browser
        
    # 直接调用函数
    browser = share_browser()
    url = 'https://www.baidu.com'
    browser.get(url)
    browser.save_screenshot('baidu.png')

### 3.4 封装调用 ###

from handless import share_browser
    browser = share_browser()
    browser.get('http://www.baidu.com/')
    browser.save_screenshot('handless1.png')

猜你喜欢

李飞飞高徒盘点年度十大AI亮点：核聚变、ChatGPT、AlphaFold上榜
老司机发车了，CountDownLatch：到底等不等你呀
GPU出货量现20年来最大跌幅！英伟达游戏显卡价格腰斩，AMD仍在观望
台积电高调庆祝3纳米量产，5年产出1.5万亿美元！最先进技术不能给美国
跟if和switch说再见
表白ChatGPT被秒拒！网友奇招打破电子人的「沉睡魔咒」
斯坦福HAI发布最新白皮书：两年来，美国AI国家战略进展甚微！
8项罪证115年监禁，30岁MIT加密「国王」拒不认罪！涉嫌操纵美国大选，身处史上最大金融欺诈案
蓝桥杯寒假集训第九天（回文日期）
给人类的「图灵测试」来了！你猜，画这些的是人还是AI？
人工智能300年！LSTM之父万字长文：详解现代AI和深度学习发展史
MySQL常用基础 - 小白必看
2023年第一天，请查收ChatGPT的年终总结！
Meta推出MoDem世界模型：解决视觉领域三大挑战，LeCun转发
（九）汇编语言——转义指令的原理
UniAPP车牌实时离线扫描识别
10天内我国痛失20位两院院士！原中科院副院长王佛松逝世，享年89岁
DeepMind通天了！AI中期天气预报吊打全球顶级气象台：1台TPU1分钟预测10天天气
多模态再次统一！Meta发布自监督算法data2vec 2.0：训练效率最高提升16倍！
大黄蜂为何爱玩木球，3000万年的病毒竟在保护人类? Science这些报道你别不信

zl程序教程

当前栏目

Python爬虫Selenium使用

相关文章