Hadoop研发工程师岗位职责

2018-09-27    工程师职责    【本页移动版】
Hadoop研发工程师是做什么的?本文提供Hadoop研发工程师的岗位职责例子,包括详细的工作内容及任职要求。
-------------------------------------------------
岗位职责:
1、负责数据仓库架构设计与研发;
2、负责大数据产品的数据研发;
3、助力数据化运营业务,与算法同学配合构建丰富多样的BI应用。

任职要求:
1、有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关开发经验,有Spark/Flink的开发经验尤佳;
2、较为丰富的数据仓库及数据平台的架构经验,精通数据仓库建模及ETL设计开发;有较为系统的海量数据性能处理经验;在大数据资产管理与治理有一定成功产品化经验;
3、具备一定的JAVA、Python语言的开发能力,具备机器学习算法能力尤佳;
4、 良好的思维逻辑性、语言表达能力;有较好英语口语能力,将安排海外岗位。
-------------------------------------------------
岗位职责:
1. 基于Hadoop、Spark、Hive、kettle等大数据计算平台的架构构建,数据平台架构设计、开发分布式计算业务,专注于实时计算、即时计算、流式计算,大数据应用、数据挖掘、分析建模等技术;
2. 参与分析可视化、数据可视化、数据展现工具、创新数据业务等技术的研发;
3. 对Hadoop、Spark、Hive、Impala、Hue、Hbase、Map/Reduce相关产品进行预研、开发;
4. 攻克各种分布式、高并发、大容量、数据隔离、系统解耦等方面的技术难关;
5. Hadoop相关业务脚本的性能优化与提升,不断提高系统运行效率,确保大数据计算平台的性能和稳定性 ;
任职要求:
1. 精通Hadoop、Spark、Hive、Sqoop、Map/Reduce;
2. 熟悉Hbase Impala、Hue 等相关技术;
3. 熟练使用Python、Shell、kettle语言及开发工具;
4. 熟练使用MSSQL,Oracle,MySQL;
5. 三年以上工作经验;
6. 对大数据分析有自己的独到见解,具备大数据分析的思路;
-------------------------------------------------
职位描述:
岗位职责:
1、负责hadoop平台上的数据存储,数据维护和优化;
2、参与大规模数据系统的架构设计和开发;
3、大规模数据挖掘和机器学习算法的实现和维护;
4、在线和离线海量数据分析平台的开发。

岗位要求:
1、计算机及相关专业统招本科及以上学历;
2、2年以上hadoop的应用开发经验,至少一个企业级数据仓库项目开发经验或大数据处理项目经验;
3、优秀的编程开发能力,精通Java,并熟悉python、shell、perl中的一种;
4、对数据结构、算法有深刻理解,有预测模型,行为分析模型,推荐模型具体实施经验者优先;
5、熟悉hadoop生态圈中的hive、impala、kafka、flume等,对hive、impala开发有实际经验者优先;
6.、对新技术敏感,有一定独立分析,技术研究能力,乐于接受挑战,具有良好的团队合作精神。
-------------------------------------------------
岗位职责:
1、负责Hadoop、Spark、Storm、Kafka等开源大数据产品组件的二次开发;
2、负责Hadoop等大数据产品与神通MPP集群大数据产品的集成。
3、跟踪大数据应用动向和主流开源产品新特征,创新产品应用;
职位要求:
1、计算机相关专业、研究生及以上学历。
2、熟悉Java或Scala开发语言
3、研究过Hadoop、Spark、Hive、Storm、ES等任意一种大数据开源系统是一个很好的加分项。
4、至少熟练使用Shell、Perl、Python等一种脚本语言。
推荐文章