1、熟悉爬虫原理及流程，使用过至少一个主流爬虫框架并有实践经验；
2、有反爬对抗经验，例如IP封锁、验证码、JS加密、行为验证等；
3、熟练掌握数据抽取、清洗等技术；
4、熟练使用MySQL、MongoDB、Elasticsearch、Redis等数据库及缓存中间件；
5、熟悉分布式、多线程、高并发及高可用的设计、编码和调优，并有成熟实践经验；
6、熟悉Hadoop生态相关技术，如Hive、HBase、Spark、Flink、ClickHouse等，有业务实际落地经验；
7、熟悉Docker、Kubernetes 等容器平台部署。
8、具有较强的逻辑分析能力、沟通协作能力、学习能力和分析、解决问题的能力，具备团队合作精神和高度的责任心，能适应一定工作压力。