人力资源
【new】爬虫工程师
公司简介:
沪知名第三方支付公司,目前C轮阶段。公司近三百人,核心团队由互联网顶尖人士组成。
职位:爬虫工程师 薪资范围:(25~40)万
工作地址;上海市浦东新区张江
联系邮箱:hr@liepin001.com
岗位职责:
1.负责设计和开发分布式的网络爬虫,以及策略持续优化;
2.分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;
3.具备数据接口开发的实战经验;
4.设计爬虫抓取策略;
5.精通正则表达式、搜索策略、算法、数据聚类、重组技术;
6.有数据融合经验的优先。
任职要求:
1.精通Python,熟悉JAVA者优先;
2.具备HtmlUnit、WebMagic、Nutch等(不限于这些)使用经验或者Webservice的实战经验;
3.精通Mongodb,MySQL或者Postgresql,并有Redis的使用经验;
4.有Hadoop,Spark经验者优先;
5.具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;有良好的沟通能力者、优秀的解决问题能力者优先;
6.2年以上实际Python项目开发实施工作经验;
7. 精通网页爬虫、分布式、多线程开发技术;
好机会 上壹猎 www.liepin001.com