PHP笔记网

工作职责：

1、负责分布式网络爬虫系统的架构设计与开发；

2、负责海量数据的爬取、清洗、解析、入库；

3、负责破解各类反爬机制；

4、不断提升数据抓取系统的自动化水平。

任职资格：

1、计算机等相关专业本科及以上学位；

2、熟练使用 Python 或 Java；

3、熟悉 Scrapy 或 Webmagic 等抓取框架的机制和实现；

4、了解常见的反爬手段，了解前端知识；

5、有大规模爬虫系统实现的经验。

摘自：天眼查 官网