上海大学
通信工程
本科
2013年09月 - 2017年06月 2013.09 - 2017.06
- 熟练使用linux操作系统;
- 熟练使用python、C++、java语言;
- 熟练使用docker 设计爬虫并爬取指定信息;
- 熟悉常见的解析库,如bs4;
- 熟练使用html javascript css语言;
- 熟练使用jquery bootstrap前端框架;
- 熟悉常见的数据结构和算法 。
企查查
数据采集
2020年08月 2020.08
- 开发网页爬虫工具,实现相关公司网页的数据抓取,每月爬虫数据量约为10W-50W;
- 维护爬虫工具的正常使用,使用Excel或者SQL语言,对数据进行整理和分析;
- 优化爬虫策略和防屏蔽规则,提升网页抓取效率70%,大幅度提高企业数据抓取质量。
七麦数据
数据采集
2017年07月 - 2020年08月 2017.07 - 2020.08
-
分布式爬虫底层框架搭建,编写大型爬虫项目代码,协助团队推进项目90%;
-
全国外卖商家数据采集,分布式爬虫底层架构搭建,新架构在原爬虫框架上增效45%;
-
代码目录结构设计,使其具备多爬虫协作能力(最高10爬虫共同协作),拥有高效开发的能力;
-
返回数据推送到pushgateway,实现了数据正常输出状况有效监控,数据采集异常发现效率提高50%;
-
Cookie池维护程序,设计了分布式Cookies池维护程序,由Cookie获取的数据总占比提高30%。
外卖企业接口破解
数据采集师
2020年10月 2020.10
- 对外卖APP的H5端接口,攻破登录等接口,结合模拟登录和cookie池维护程序,实现外卖数据采集。
- 外卖APP基于破解大众点评的经验,免登录爬取外卖数据。
职徒简历网站(含APP,小程序)所发布展示的简历模板来自平台自有创作及用户授权分享,仅限用户在职徒简历平台内使用,禁止任何商业机构未经授权转载和抄袭,如未经授权用作他处,上海才贝信息科技有限公司将保留追究侵权者法律责任的权利。
该模板由小崔今天吃了嘛:yum:分享于2021.06.07