大数据开发工程师的工作职责模板

大数据开发工程师的工作职责模板

　　大数据开发工程师负责数据仓库的体系建设及落地实现。下面是学习啦小编整理的大数据开发工程师的工作职责模板。

　　大数据开发工程师的工作职责模板1

　　职责：

　　1、独立负责工作小组，并对下级成员进行监督;

　　2、具备资源整合以及对软件项目全局把控的能力;

　　3、负责软件项目的系统设计和需求分析;

　　4、制定软件项目开发计划，并按时完成功能模块的设计、开发以及编程任务;

　　5、积极配合并完成主管下达的任务，并能够对软件部门的发展规划提出意见;

　　任职条件

　　1、大数据相关开发经验3年以上，至少具备2年以上java开发经验;

　　2、有基于hadoop的数据抽取、转换、加载的开发相关经验;

　　3、熟练掌握hadoop生态的相关知识，如hive,hbase,flume.kafka,storm,spark，mapreduce等;

　　4、熟悉Linux操作系统。熟悉linux各项基本操作，至少掌握一门脚本语言;

　　5、熟练数据仓库，对多维数据建模有深入理解;

　　6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;

　　7、思维敏捷，有较强的钻研学习能力，较好的沟通能力、团队合作;

　　大数据开发工程师的工作职责模板2

　　1、负责数据仓库和大数据处理模块的架构设计和开发;

　　2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;

　　3、负责Spark技术研究和通用数据平台的性能调优;

　　4、负责大数据项目中，基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。

　　5、熟悉Scala/Java语言，对Scala/Java原理、底层技术有深入研究者优先;

　　6、有过海量数据系统开发经验者优先;

　　7、熟悉Hadoop/Spark生态系统组件的使用，至少有2年以上的Spark开发经验;

　　8、写过推荐系统的优先考虑

　　大数据开发工程师的工作职责模板3

　　职责

　　1、负责公司大数据平台建设工作，完成Hdaoop/Spark搭建部署，根据业务需要进行开发;

　　2、开发实现网络爬虫并爬取所需数据，有效存储到大数据平台;

　　3、对平台数据做预处理，满足数据展现及后续机器学习等系统使用;

　　4、根据业务需要，应用大数据实时分析技术、可视化技术等，并对平台发展规划进行设计。

　　任职资格

　　1、本科及以上学历，计算机相关专业;

　　2、熟悉数据仓库和数据建模相关技术细节，有编程经验，熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;

　　3、具备海量数据处理经验，或有互联网行业数据挖掘工作经验;

　　4、1年以上岗位经验优先，本科应届有意向的，可优先培养。

　　大数据开发工程师的工作职责模板4

　　职责：

　　1.负责金融银行大数据系统相关模块的数据架构及研发实施工作

　　2.依据业务场景、分析需求提供技术解决方案并加以实现;

　　3.与客户业务部门对接，解决数据建模、报表和报告在系统开发遇到的问题;

　　任职资格：

　　1.具备3年以上DW系统建设经验，了解BI系统，有数据管理经验，有维度建模相关经验，了解数据仓库建设过程中的挑战与问题

　　2.精通多系统数据融合、清洗、转换、整合，具备海量数据加工处理相关经验

　　3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理

　　4.掌握大型数据库开发技术(ORACLE/DB2等)，有丰富的数据库模型设计和优化经验

　　5.熟练掌握Unix/Linux常规命令、工具及Shell编程

　　6.掌握一门或多门编程语言优先，如Java、Python、scala等

　　7.熟悉Hadoop、spark、kafka等大数据生态相关技术，有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分

　　大数据开发工程师的工作职责模板5

　　职责：

　　1、 参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);

　　2、 参与ETL Mapping设计及开发工作;

　　3、 参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。

　　资质要求：

　　1.计算机相关专业本科及以上学历，优秀者放宽至大专;

　　2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验，有Sybase IQ\HIVE\Spark SQL开发经验者优先;

　　3、有较强的SQL编程能力,熟练编写存储过程，能设计各种复杂的业务处理、统计分析语句，精通sql性能优化;

　　4、具有数据仓库、ods、BI商务智能项目经验者优先，具有金融行业项目背景者优先;

　　5、较好的沟通理解能力，态度踏实，积极上进。

相关文章：

1.大数据开发工程师的岗位职责

2.大数据架构师工作的职责

3.大数据架构师的工作职责描述

4.大数据架构师的基本职责

5.软件架构师岗位的职责表述