您好,欢迎来到六三科技网。
搜索
您的当前位置:首页大数据架构师岗位的职责内容(5篇)

大数据架构师岗位的职责内容(5篇)

来源:六三科技网

大数据架构师岗位的职责内容

  职责:

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

  任职资格:

  1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

  2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

  3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

  4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

  5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

  6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

  7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师岗位的职责内容

  职责:

  负责公司大数据产品架构的设计与实现;

  配合大数据产品经理完成产品的快速研发与交付;

  负责大数据产品架构的持续优化设计;

  负责大数据产品核心组件设计;

  负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

  为应用开发团队提供技术支撑。

  任职要求:

  本科及以上学历,3年以上的大数据开发经验、

  2年以上大数据架构设计经验;

  丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

  熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

  精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

  有数据挖掘、机器学习相关应用或研究背景;

  沟通能力较好,积极主动意识较强,责任心较强。

大数据架构师岗位的职责内容

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

大数据架构师岗位的职责内容

  职责:

  (1) 负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

  (2) 通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;

  (3) 对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;

  (4) 配合部门领导进行项目需求分析、设计开发工作。

  任职要求:

  (1) 计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;

  (2) 精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

  (3) 熟悉Java,能够应用python、R、SAS或类似分析工具进行数据分析;

  (4) 熟悉大数据挖掘、可视化分析,各种BI算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;

  (5) 有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;

  (6) 工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。

大数据架构师岗位的职责内容

  职责:

  1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

  2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;

  3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

  4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;

  5、参与公司大数据项目前期的架构设计工作;

  任职要求:

  1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

  3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;

  4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;

  5. 熟练掌握java、R、python等1-2门数据挖掘开发语言;

  6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;

  7、有烟草或制造行业大数据解决方案售前经验者优先;

  8、能适应售前支持和项目实施需要的短期出差;

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- xue63.com.cn 版权所有

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务