不灭的焱

革命尚未成功,同志仍须努力

作者:php-note.com  发布于:2021-01-29 14:26  分类:Python/股票交易系统  编辑

工作职责:

1、负责分布式网络爬虫系统的架构设计与开发;

2、负责海量数据的爬取、清洗、解析、入库;

3、负责破解各类反爬机制;

4、不断提升数据抓取系统的自动化水平。

任职资格:

1、计算机等相关专业本科及以上学位;

2、熟练使用 Python 或 Java;

3、熟悉 Scrapy 或 Webmagic 等抓取框架的机制和实现;

4、了解常见的反爬手段,了解前端知识;

5、有大规模爬虫系统实现的经验。

 

 

摘自:天眼查 官网