不灭的焱

革命尚未成功,同志仍须努力下载JDK17

作者:php-note.com  发布于:2021-05-31 17:19  分类:Python基础  编辑

Python收藏  |  Pandas收藏  |  Java爬虫  |  Python爬虫  |  【爬虫】相关资源(代理) |  PyWinAuto收藏

MitmProxy中文文档 、Scrapy爬虫框架 、Selenium 之chromedriver下载(淘宝镜像)

==》 把chromedriver路径设置到系统环境变量下即可使用

CentOS 7安装 GreaterWMS 详细过程 、Django收藏

爬虫专家:https://www.howie6879.cn/

Selenium

[上海-悠悠]Selenium专题

使用无头(headless)浏览器帮你节省自动化运行时间

【Selenium】find_element_by_css_selector()使用示例

【Selenium】WebElement元素(DOM元素)的 属性 和 方法

【Selenium】获取某个元素的Html之.get_attribute('outerHTML')

【Selenium】利用select模块处理下拉框(Select/Options)

【Selenium】设置等等时间

【Selenium】<显性等待> Ajax加载完成后


【Selenium】关闭提示:Chrome 正受到自动测试软件的控制 

【Selenium】定位:出现Message: element not interactable 元素不可交互的问题解决方案

【Selenium】报错 ERROR:ssl_client_socket_impl.cc(962)] handshake failed;returned -1, SSL error code 1

经验分享:

捕获异常时,统一使用如下异常类型(Exception)代码:使用具体化的异常类(如:TimeoutException)的话,容易漏写其他类型的异常,导致程序中断

try:
	element_page_list = WebDriverWait(driver, Loading_Timeout_10sec).until(
		ec.presence_of_all_elements_located((By.CSS_SELECTOR, ".s-pagination-container .s-pagination-strip span"))
	)
except Exception as e:
	logger_exception("没有查询到【分页记录】")

页面跳转(多窗口):

  1. 【Selenium】如何点击<a>标签直接跳转网页
  2. 在Selenium中window.open()和click()点击链接的区别(新窗口打开链接)
  3. 【Selenium】点击链接进入子页面抓取内容(新闻抓取案例一)
  4. 【Selenium】点击链接进入子页面抓取内容(新闻抓取案例二)
  5. 【Selenium】多窗口切换、句柄(handle)

Python爬虫之Selenium的使用

[荐]Selenium 8种常用元素定位(如何用浏览器查看 元素的 xpath/css 选择器路径)

find_element_by_css_selector()

浏览器获取CSS选择器技巧:元素选择器 -> 右键HTML元素节点 -> Copy -> Copy Selector

 

Requests

Requests高级用法

cookie

requests库之cookie模块

session

[博客园]requests库之session模块

[简书]python接口自动化中requests.session

[博客园]python中requests.session的妙用

其他

企业级网络爬虫实现及商业价值