Python Selenium 数据提取

Selenium提取数据

知识点：
了解driver对象的常用属性和方法；
掌握driver对象定位标签元素获取标签对象的方法；
掌握 标签对象提取文本和属性值的方法；

1、driver对象的常用属性和方法
在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法；
1）、driver.page_source 当前标签页浏览器渲染之后的网页源代码；
2）、driver.current_url 当前标签页的url;
3)、driver.close() 关闭当前标签页，如果只有一个标签页则关闭整个浏览器；
4）、driver.quit() 关闭浏览器；
5）、driver.forward() 页面前进；
6）、driver.back() 页面后退；
7）、driver.screen_shot(img_name) 页面截图；

import time

from selenium import  webdriver

url ='http://www.baidu.com'

# 创建一个浏览器对象
driver= webdriver.Chrome()

# 访问指定的url地址
driver.get(url)

# 显示源代码
print(driver.page_source)
# 显示响应对应的url
print(driver.current_url)
print(driver.title)

time.sleep(2)
driver.get('http://www.douban.com')
time.sleep(2)
driver.back()
time.sleep(2)
driver.forward()
time.sleep(2)
#driver.close()
# 保存网页快照，常用于验证是否运行或者验证码截图
driver.save_screenshot('baidu.png')

driver.quit()

2、driver对象定位标签元素获取标签对象的方法
在selenium中可以通过多种方式来定位标签，返回标签元素对象。

find_element_by_id(返回一个元素)
find_element(s)_by_class_name(根据类名获取元素列表)
find_element(s)_by_name(根据标签的name属性值返回包含标签对象元素的列表)
find_element(s)_by_xpath(返回一个包含元素的列表）
find_element(s)_by_link_text(根据连接文本获取元素列表)
find_element(s)_by_partial_link_text(根据链接波爱护的文本获取元素列表）
find_element(s)_by_tag_name(根据标签名获取元素列表)
find_element(s)_by_css(根据css选择器来获取元素列表)

注意：
find_element和find_elements的区别：
多了个s就返回列表，没有s就返回匹配到的第一个标签对象；
find_element匹配不到就抛出异常，find_elements匹配不到就返回空列表；
by_link_text和by_partial_link_tex的区别：全部文本和包含某个文本；
以上函数的使用方法
driver.find_element_by_id(‘id_str’)

from selenium import webdriver

url = 'http://www.baidu.com'

driver =webdriver.Chrome()

driver.get(url)

# 通过xpath进行元素定位
driver.find_element_by_xpath('//*[@id="kw"]').send_keys('python3')
# 通过css选择器进行元素定位
driver.find_element_by_css_selector('#kw').send_keys('python3')
# 通过name属性值进行元素定位
driver.find_element_by_name('wd').send_keys('python3')
# 通过class属性值进行元素定位
driver.find_element_by_class_name('s_ipt').send_keys('python3')

driver.find_element_by_id('su').click()

# 通过链接文本进行元素定位
driver.find_element_by_link_text('hao123').click()
driver.find_element_by_partial_link_text('hao').click()

# 目前元素再当前html中时唯一标签的时候或者是众多定位处理的标签中的第一个的时候才能使用
print(driver.find_element_by_tag_name('title'))

3、标签对象提取文本内容和属性值
find_element仅仅能够获取元素，不能够直接获取其中的数据，如果需要获取数据需要使用以下方法：
获取文本 element.text
通过定位获取的标签对象的text属性，获取文本内容；
获取属性值element_get_attribute(“属性名”)
通过定位获取的标签对象的get_attribute函数，传入属性名，来获取属性的值。

代码实现，如下：

from selenium import webdriver

driver = webdriver.Chrome('./chromedriver')

driver.get('http://www.itcast.cn/')

ret = driver.find_element_by_tag_name('h2')

print(ret[0].text)

ret = driver.find_element_by_link_text('黑马程序员')

print(ret[0].get_attribute('href'))

driver.quit()