加载中......
输入验证码,即可复制
微信扫码下载好向圈APP, 登陆后即可进入消息页面查看验证码
只需要3秒时间
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是一个开源基于 python 的 Web 自动化操作集成工具——DrissionPage。

最近又火了一个Web自动化工具,python大神都在用-1.jpg

requests 做数据采集面对要登录的网站时,要分析数据包、JS 源码,构造复杂的请求,往往还要应付验证码、JS 混淆、签名参数等反爬手段,门槛较高。若数据是由 JS 计算生成的,还须重现计算过程,体验不好,开发效率不高。
使用 selenium,可以很大程度上绕过这些坑,但 selenium 效率不高。因此,这个库将 seleniumrequests 合而为一,不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。
除了合并两者,本库还以网页为单位封装了常用功能,简化了 selenium 的操作和语句,在用于网页自动化操作时,减少考虑细节,专注功能实现,使用更方便。一切从简,尽量提供简单直接的使用方法,对新手更友好。


特性


  • 代码高度集成,以简洁的代码为第一追求。
  • 页面对象可在 selenium 和 requests 模式间任意切换,保留登录状态。
  • 极简单但强大的元素定位语法,支持链式操作,代码极其简洁。
  • 两种模式提供一致的 API,使用体验一致。
  • 人性化设计,集成众多实用功能,大大降低开发工作量
亮点功能


  • 每次运行程序可以反复使用已经打开的浏览器。如手动设置网页到某个状态,再用程序接管,或手动处理登录,再用程序爬内容。无须每次运行从头启动浏览器,超级方便
  • 使用 ini 文件保存常用配置,自动调用,也提供便捷的设置 API,远离繁杂的配置项
  • 极致简明的定位语法,支持直接按文本定位元素,支持直接获取前后兄弟元素和父元素等
  • 强大的下载工具,操作浏览器时也能享受快捷可靠的下载功能
  • 下载工具支持多种方式处理文件名冲突、自动创建目标路径、断链重试等
  • 访问网址带自动重试功能,可设置间隔和超时时间
  • 访问网页能自动识别编码,无须手动设置
  • 链接参数默认自动生成Host和Referer属性
  • 可以随时直接隐藏或显示浏览器进程窗口,非 headless 或最小化
  • 可自动下载合适版本的 chromedriver,免去麻烦的配置
  • d 模式查找元素内置等待,可任意设置全局等待时间或单次查找等待时间
  • 点击元素集成 js 点击方式,一个参数即可切换点击方式
  • 点击支持失败重试,可用于保证点击成功、判读网页遮罩层是否消失等
  • 输入文本能自动判断是否成功并重试,避免某些情况下输入或清空失效的情况发生
  • d 模式下支持全功能的 xpath,可直接获取元素的某个属性,selenium 原生无此功能
  • 支持直接获取shadow-root,和普通元素一样操作其下的元素
  • 支持直接获取after和before伪元素的内容
  • 可以在元素下直接使用 > 以 css selector 方式获取当前元素直接子元素。原生不支持这种写法
  • 可简单地使用 lxml 来解析 d 模式的页面或元素,爬取复杂页面数据时速度大幅提高
  • 输出的数据均已转码及处理基本排版,减少重复劳动
  • 可方便地与 selenium 或 requests 原生代码对接,便于项目迁移
  • 使用 POM 模式封装,可直接用于测试,便于扩展
  • d 模式配置可同时兼容debugger_address和其它参数,原生不能兼容


结构图

如图所示,Drission对象负责链接的创建、共享登录状态等工作,类似 seleniumdriver 的概念。MixPage对象负责对获取到的页面进行解析、操作。DriverElementSessionElement则是从页面对象中获取到的元素对象。负责对元素进行解析和操作。

最近又火了一个Web自动化工具,python大神都在用-2.jpg

简单演示

与 selenium 代码对比
跳转到第一个标签页
# 使用 selenium:driver.switch_to.window(driver.window_handles[0])# 使用 DrissionPage:page.to_tab(0)按文本选择下拉列表
# 使用 selenium:from selenium.webdriver.support.select import Selectselect_element = Select(element)select_element.select_by_visible_text('text')# 使用 DrissionPage:element.select('text')拖拽一个元素
# 使用 selenium:ActionChains(driver).drag_and_drop(ele1, ele2).perform()# 使用 DrissionPage:ele1.drag_to(ele2)与 requests 代码对比
获取元素内容
url = 'https://baike.baidu.com/item/python'# 使用 requests:from lxml import etreeheaders = {    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}response = requests.get(url, headers=headers)html = etree.HTML(response.text)element = html.xpath('//h1')[0]title = element.text# 使用 DrissionPage:page = MixPage('s')page.get(url)title = page('tag:h1').text下载文件
url = 'https://www.baidu.com/img/flexible/logo/pc/result.png'save_path = r'C:\download'# 使用 requests:r = requests.get(url)with open(f'{save_path}\\img.png', 'wb') as fd:   for chunk in r.iter_content():       fd.write(chunk)        # 使用 DrissionPage:page.download(url, save_path, 'img')  # 支持重命名,处理文件名冲突,自动创建目标文件夹爬取新冠排行榜
网址:https://www.outbreak.my/zh/world,此示例爬取全球新冠情况排行榜。该网站是纯 html 页面,特别适合 s 模式爬取和解析。

最近又火了一个Web自动化工具,python大神都在用-3.jpg

from DrissionPage import MixPage# 用 s 模式创建页面对象page = MixPage('s')  # 访问数据网页page.get('https://www.outbreak.my/zh/world')  # 获取表头元素thead = page('tag:thead')  # 获取表头列,跳过其中的隐藏的列title = thead.eles('tag:th@@-style:display: none;')  data = [th.text for th in title]print(data)  # 打印表头# 获取内容表格元素tbody = page('tag:tbody')  # 获取表格所有行rows = tbody.eles('tag:tr')  for row in rows:     # 获取当前行所有列    cols = row.eles('tag:td')      # 生成当前行数据列表(跳过其中没用的几列)    data = [td.text for k, td in enumerate(cols) if k not in (2, 4, 6)]        print(data)  # 打印行数据输出:
['总 (205)', '累积确诊', '死亡', '治愈', '现有确诊', '死亡率', '恢复率']['美国', '55252823', '845745', '41467660', '12,939,418', '1.53%', '75.05%']['印度', '34838804', '481080', '34266363', '91,361', '1.38%', '98.36%']['巴西', '22277239', '619024', '21567845', '90,370', '2.78%', '96.82%']['英国', '12748050', '148421', '10271706', '2,327,923', '1.16%', '80.57%']['俄罗斯', '10499982', '308860', '9463919', '727,203', '2.94%', '90.13%']['法国', '9740600', '123552', '8037752', '1,579,296', '1.27%', '82.52%']......登录 gitee 网站
网址:https://gitee.com/login,此示例演示使用控制浏览器的方式自动登录 gitee 网站。
from DrissionPage import MixPage# 用 d 模式创建页面对象(默认模式)page = MixPage()# 跳转到登录页面page.get('https://gitee.com/login')# 定位到账号文本框并输入账号page.ele('#user_login').input('你的账号')# 定位到密码文本框并输入密码page.ele('#user_password').input('你的密码')# 点击登录按钮page.ele('@value=登 录').click()


—END—

开源协议:BSD-3-Clause
开源地址: https://gitee.com/g1879/DrissionPage
广告圈
12160 查看 17 0 反对

说说我的看法高级模式

您需要登录后才可以回帖 登录|立即注册

  • 讨厌没素质的人

    2022-8-21 21:31:02 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    本质是爬虫工具吗?
  • 诺同学baeya

    2022-8-21 21:31:23 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    不知道打开速度怎样,selenium慢成猪
  • @Xizi_zs97Y79t

    2022-8-21 21:31:39 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    如何双击元素?只看到了单击,右击
  • 众神的诅咒

    2022-8-21 21:32:02 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    app数据怎么爬,有什么工具介绍
  • 张刘刘刘刘

    2022-8-21 21:32:18 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    Python的包就是高度集成,只是软件使用方式不是普通软件那样,而是统一在解释器中和其他软件配合使用而已,所以Python是程序,你写的Python脚本不一定是程序
  • 强忠丹

    2022-8-21 21:32:48 使用道具

    来自: 北京来自: 北京来自: 北京来自: 北京
    的确比request简洁不少
  • 1392732123

    2022-8-21 21:32:58 使用道具

    来自: 福建来自: 福建来自: 福建来自: 福建
    哪里有文档
  • zhf芳

    2022-8-21 21:33:10 使用道具

    来自: 四川来自: 四川来自: 四川来自: 四川
    看起来不错[赞]
  • 与娴曲抱拥

    2022-8-21 21:33:28 使用道具

    来自: 中国来自: 中国来自: 中国来自: 中国
    playwright更方便
  • 竹魈

    2022-8-21 21:33:59 使用道具

    来自: 广东广州来自: 广东广州来自: 广东广州来自: 广东广州
    反爬能力如何呢?怎样避免被屏蔽呢?

相关阅读