职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
一、职位描述:
1、分布式爬虫系统的架构设计与开发;
2、负责多平台信息的抽取、去重、分类、解析、增量;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
二、任职要求:
1、1年以上相关工作经验,扎实的Python基础,熟悉Web爬虫,掌握反爬虫技术;
2、掌握常见爬虫库和框架,如requests、Scrapy、Selenium等,有实际项目经验;
3、熟悉基于正则表达式、Xpath,CSS选择器等网页信息抽取技术,和动态页面JS解密等常见反爬破解;
4、熟悉使用redis、mysql等流行数据库;
5、有良好的学习和理解能力,编码规范和习惯,以及设计、开发和文档编写能力;
6、有电商系统、后台爬虫经验者优先考虑;
7、熟悉高并发、设计模式、数据结构和算法优先考虑。
1、分布式爬虫系统的架构设计与开发;
2、负责多平台信息的抽取、去重、分类、解析、增量;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
二、任职要求:
1、1年以上相关工作经验,扎实的Python基础,熟悉Web爬虫,掌握反爬虫技术;
2、掌握常见爬虫库和框架,如requests、Scrapy、Selenium等,有实际项目经验;
3、熟悉基于正则表达式、Xpath,CSS选择器等网页信息抽取技术,和动态页面JS解密等常见反爬破解;
4、熟悉使用redis、mysql等流行数据库;
5、有良好的学习和理解能力,编码规范和习惯,以及设计、开发和文档编写能力;
6、有电商系统、后台爬虫经验者优先考虑;
7、熟悉高并发、设计模式、数据结构和算法优先考虑。
工作地点
地址:玉溪通海县石邑大厦(西北门)6楼
![](http://img.jrzp.com/jrzpfile/rcw/SearchJob/images/jg.png)