爬虫中高级软件工程师

技能要求：爬虫JavaMySQLGolang网络爬虫爬虫架构岗位职责： 1、爬虫框架开发维护； 2、数据抓取任务开发维护； 3、爬虫数据清洗聚合。岗位要求：1、全日制统招本科及以上学历，计算机相关专业；2、3年及以上工作经验，熟练掌握Java开发语言且熟悉Python、JavaScript、GO中的一种或几种； 3、熟练进行多线程多进程异步调用程序的开发，对分布式系统有一定了解；4、数据结构和算法功底较扎实；5、熟悉HTTP协议，熟练使用正则表达式，XPATH，CSS选择器等爬虫开发常用技能； 6、熟悉Scrapy，Pyspider等常用的爬虫框架；熟悉常见的反爬虫技巧；7、熟悉MySQL、PostgresSQL、 MongoDB、Redis中的至少一种；8、熟练操作Linux系统，熟悉awksedgrep等常用linux工具；9、完成领导交办的其他工作。加分项: 有一定的移动端逆向经验； 有一定前端开发能力； 有OLAP 数据仓库开发经验；具备良好的沟通和推动能力，主动性强。