朱靖瑶
188-8888-8888 | contact@52cv.com
教育经历
上海大学
通信工程
本科
2013年09月-2017年06月 2013.09-2017.06
软件技能
  • 熟练使用linux操作系统;
  • 熟练使用python、C++、java语言;
  • 熟练使用docker 设计爬虫并爬取指定信息;
  • 熟悉常见的解析库,如bs4;
  • 熟练使用html javascript css语言;
  • 熟练使用jquery bootstrap前端框架;
  • 熟悉常见的数据结构和算法 。
工作经历
企查查
数据采集
2020年08月 2020.08
  • 开发网页爬虫工具,实现相关公司网页的数据抓取,每月爬虫数据量约为10W-50W;
  • 维护爬虫工具的正常使用,使用Excel或者SQL语言,对数据进行整理和分析;
  • 优化爬虫策略和防屏蔽规则,提升网页抓取效率70%,大幅度提高企业数据抓取质量。
七麦数据
数据采集
2017年07月-2020年08月 2017.07-2020.08
  • 分布式爬虫底层框架搭建,编写大型爬虫项目代码,协助团队推进项目90%;

  • 全国外卖商家数据采集,分布式爬虫底层架构搭建,新架构在原爬虫框架上增效45%;

  • 代码目录结构设计,使其具备多爬虫协作能力(最高10爬虫共同协作),拥有高效开发的能力;

  • 返回数据推送到pushgateway,实现了数据正常输出状况有效监控,数据采集异常发现效率提高50%;

  • Cookie池维护程序,设计了分布式Cookies池维护程序,由Cookie获取的数据总占比提高30%。

项目及研究经历
外卖企业接口破解
数据采集师
2020年10月 2020.10
  • 对外卖APP的H5端接口,攻破登录等接口,结合模拟登录和cookie池维护程序,实现外卖数据采集。
  • 外卖APP基于破解大众点评的经验,免登录爬取外卖数据。
热门文章
导师辅导
大家都在看的简历模板