不灭的焱

革命尚未成功,同志仍须努力

作者:php-note.com  发布于:2021-07-28 16:12  分类:Python基础  编辑

Python收藏  |  Pandas收藏  |  Java爬虫  |  Python爬虫  |  【爬虫】相关资源(代理)


  1. Java爬虫:主流爬虫框架的基本介绍 
  2. 优秀的开源Java爬虫框架
  3. GitHub 上有哪些优秀的 Java 爬虫项目?

【okhttp + jsoup + selenium】:用 okhttp 抓取页面,jsoup解析页面,90%的页面都能搞定,剩下的就用 selenium

Java使用Selenium实现自动化测试以及全功能爬虫

详解介绍Selenium常用API的使用--Java语言(完整版)

Java+Selenium的基本使用方法归纳总结(持续更新中)

【Selenium】键盘操作示例

 

Selenium Chrome启动项详解  、selenium启动Chrome配置参数问题

Selenium 设置(1)无头模式,(2)防止被检测

Chrome Driver基本使用与常见设置

无法隐藏"Chrome正在由自动化软件控制" Chrome v76中的信息栏(Unable to hide "Chrome is being controlled by automated software" infobar within Chrome v76)

Selenium爬虫:一行代码去掉所有webdriver痕迹

Selenium反爬虫设置(简单)

Java Selenium 启动chrome浏览器常用设置

淘宝手机端-selenium破解过程详解

爬虫--某宝页面登陆滑块验证 SELENIUM + CHROMEDRIVER

Selenium跳过webdriver检测并爬取天猫商品数据

多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架)

Python Selenium爬取新浪微博数据

[视频]搞定淘宝滑块,selenium模拟浏览器stealth.min.js抹掉机器特征的脚本

2021最新Selenium真正绕过webdriver检测

 


 

 


 

  • Python爬虫 - Selenium(1)安装和简单使用    详细介绍Selenium的依赖环境在Windows和Centos7上的安装及简单使用
  • Python爬虫 - Selenium(2)元素定位和WebDriver常用方法    详细介绍定位元素的8种方式并配合点击和输入、提交、获取断言信息等方法的使用
  • Python爬虫 - Selenium(3)控制浏览器的常用方法    详细介绍自定义浏览器窗口大小或全屏、控制浏览器后退、前进、刷新浏览器等方法的使用
  • Python爬虫 - Selenium(4)配置启动项参数    详细介绍Selenium启动项参数的配置,其中包括无界面模式、浏览器窗口大小设置、浏览器User-Agent (请求头)等等
  • Python爬虫 - Selenium(5)鼠标事件    详细介绍鼠标右击、双击、拖动、鼠标悬停等方法的使用
  • Python爬虫 - Selenium(6)键盘事件    详细介绍键盘的操作,几乎包含所有常用按键以及组合键
  • Python爬虫 - Selenium(7)多窗口切换    详细介绍Selenium是如何实现在不同的窗口之间自由切换
  • Python爬虫 - Selenium(8)frame/iframe表单嵌套页面    详细介绍如何从当前定位的主体切换为frame/iframe表单的内嵌页面中
  • Python爬虫 - Selenium(9)警告框(弹窗)处理    详细介绍如何定位并处理多类警告弹窗
  • Python爬虫 - Selenium(10)下拉框处理    详细介绍如何灵活的定位并处理下拉框
  • Python爬虫 - Selenium(11)文件上传    详细介绍如何优雅的通过send_keys()指定文件进行上传
  • Python爬虫 - Selenium(12)获取登录Cookies,并添加Cookies自动登录    详细介绍如何获取Cookies和使用Cookies进行自动登录
  • Python爬虫 - Selenium(13)设置元素等待    详细介绍如何优雅的设置元素等待时间,防止程序运行过快而导致元素定位失败
  • Python爬虫 - Selenium(14)窗口截图    详细介绍如何使用窗口截图
  • Python爬虫 - Selenium(15)关闭浏览器    详细介绍两种关闭窗口的区别

 

Java 实现类似于python requests包的Session类,自动管理cookie。

Java实现类似python requests的session功能