不灭的焱

革命尚未成功,同志仍须努力下载JDK17

作者:Albert.Wen  添加时间:2022-05-30 16:37:51  修改时间:2024-04-25 07:16:17  分类:数据采集/桌面自动化  编辑
作者:Albert.Wen  添加时间:2022-05-28 17:42:21  修改时间:2024-04-26 11:58:26  分类:数据采集/桌面自动化  编辑

DataX用来做批量数据迁移很适合,能够保证数据的一致性,性能也很好,结合时间戳字段,用来实现数据定时增量同步也是可以的,如每分钟或每5分钟增量同步一次数据。用DataX这个方案做增量同步要求每个表带一个时间戳字段,删除数据采用逻辑删除,这个要求也比较容易做到。

作者:Albert.Wen  添加时间:2022-05-28 11:31:18  修改时间:2024-04-27 16:36:36  分类:数据采集/桌面自动化  编辑

DataX-Web的搭建(Windows/Linux环境),本地idea调试

作者:Albert.Wen  添加时间:2022-05-24 14:32:13  修改时间:2024-04-26 09:03:00  分类:数据采集/桌面自动化  编辑

不建议在没有服务器身份验证的情况下建立SSL连接,根据MySQL 5.5.45+、5.6.26+和5.7.6+的要求,如果没有设置显式选项,则必须默认建立SSL连接。

作者:Albert.Wen  添加时间:2022-03-01 10:58:33  修改时间:2024-04-27 15:15:59  分类:数据采集/桌面自动化  编辑

一共分为18个部分:环境安装之selenium、selenium浏览器驱动、selenium元素定位、控制浏览器操作、WebDriver常用方法、模拟鼠标操作、模拟键盘操作、获取断言信息、设置元素等待、定位一组元素、多表单切换、多窗口切换、下拉框选择、警告框处理、文件上传、浏览器cookie操作、调用JavaScript代码、获取窗口截屏;

作者:Albert.Wen  添加时间:2022-02-19 11:52:33  修改时间:2024-04-25 19:23:10  分类:数据采集/桌面自动化  编辑

pyperclip 模块有 copy()和 paste()函数, 可以向计算机的剪贴板发送文本, 或从它接收文本 # re模块 正则表达式是对字符串进行操作,正则表达式是对字符串进行模糊匹配,提取自己需要的字符串部分

作者:Albert.Wen  添加时间:2022-02-19 10:35:45  修改时间:2024-04-22 03:12:56  分类:数据采集/桌面自动化  编辑

在 Python3 中,解析URL常用的方法是 urllib.parse 模块中的 urlparse、 parse_qs 和 parse_qsl 三个函数。urlparse 将 url 分割为 scheme、netloc、path、params、query 和 fragment 这几部分,如下图所示:

作者:Albert.Wen  添加时间:2022-02-18 16:19:14  修改时间:2024-04-06 20:35:02  分类:数据采集/桌面自动化  编辑

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

作者:Albert.Wen  添加时间:2022-01-01 22:55:51  修改时间:2024-04-22 05:30:08  分类:数据采集/桌面自动化  编辑

原因:该 excel 表格包含数据透视表,删除即可

作者:Albert.Wen  添加时间:2021-11-14 20:27:28  修改时间:2024-04-26 14:44:08  分类:数据采集/桌面自动化  编辑

PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,多平台支持(Windows,OS X,Linux)。