工作职责:
1、基于分布式计算平台(Hadoop,Hive,Fli
2、负责ETL设计与开发,以及解决ETL相关技术问题;
3、参与金融数据治理项目的落地实施,包括数据采集、数据治理、数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设;
4、参与数据管理平台的设计与实施,对平台进行优化与完善;
5、参与数据治理制度、规范、流程的设计及执行推进,推动跨部门之间的组织协调工作。
任职资格:
1、全日制本科及以上学历,计算机、数学、统计学等相关专业,5年以上数据库设计与开发经验;
2、具备分布式数据存储与计算平台(Hadoop,Hive)的开发经验,有大型数据项目相关领域实践经验,熟悉Fli
3、精通sql开发,有较丰富的Hive sql性能调优经验优先,能开发hive udf者优先;
4、至少掌握Java、Scala、Python中至少一门开发语言,并熟悉Linux系统以及Shell脚本语言;
5、熟悉大数据产品和技术,熟悉ETL的开发和流程优化,对数据采集、数据集成、数据开发、数据分析等大数据领域有实战经验;
6、了解数据治理相关方法和知识,包括数据标准的制定、元数据采集与分析、数据清洗、数据质量监测与报告等;
7、良好的数据敏感度,能从海量数据提炼核心结果,并用简洁而清晰的方式呈现数据分析背后隐含的变化和问题;有出色的结构化思维能力。
上班地址:上海浦东新区张衡路1399号银联商务园区