必备条件:
统招本科及以上，985 211 优先
优先条件:
编程语言：精通Python，熟悉Node.js等编程语言。
爬虫框架：了解Scrapy、PySpider等爬虫框架。
网络协议：熟悉HTTP、HTTPS原理，理解Cookie机制，能够进行请求抓包。
数据库：熟悉SQL数据库（如MySQL、PostgreSQL）和NoSQL数据库（如Redis、MongoDB）。
加分技能：熟悉反爬技术优先：验证码掌握、IP代理、JS逆向等对抗策略
加分技能：熟练掌握Scrapy、PySpider等爬虫框架，了按照业务需求制定爬虫框架
岗位职责:
1、完成公司软件产品的开发、调试、单元测试、维护等工作。
2、研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率
3、处理反爬机制、优化UA、IP池、动态调度等策略
4、监控和优化爬虫集群性能，优化异常检测，爬取策略调优等机制
5、协助技术文档、系统说明书、用户手册的编辑工作。
任职要求:
1.要求本科及以上学历，计算机或相关专业，熟悉python。
2.2年以上的爬虫经验，能够独立完成开发任务。
3.熟悉掌握Scrapy、PySpider等爬虫框架
3.熟练堂握面向对象编程的理论和应用，熟悉动态库、网络编程、多线程编程等常用技术。
4.熟悉反爬技术优先：验证码掌握、IP代理、JS逆向等对抗策略