您好,欢迎来到六三科技网。
搜索
您的当前位置:首页大数据架构师岗位的主要职责概述(5篇)

大数据架构师岗位的主要职责概述(5篇)

来源:六三科技网

大数据架构师岗位的主要职责概述

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

大数据架构师岗位的主要职责概述

  职责:

  1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

  2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

  3、负责业务平台数据统计分析模块的设计与规划;

  4、负责公司产品研发过程中的数据及存储设计;

  5、带领和培养团队完成组织分解的目标;

  任职要求:

  1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

  2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

  3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

  4、熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;

  5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

  6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

大数据架构师岗位的主要职责概述

  职责:

  根据大数据业务需求,设计大数据方案及架构,实现相关功能;

  搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

  负责大数据业务的设计和指导具体开发工作;

  负责公司产品研发过程中的数据及存储设计;

  针对数据分析工作,能够完成和指导负责业务数据建模。

  职位要求:

  计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

  精通大数据主流框架(如 Hadoop、hive、Spark等);

  熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;

  熟悉hadoop/spark生态的原理、特性且有实战开发经验;

  熟悉常用的数据挖掘算法优先.

大数据架构师岗位的主要职责概述

  职责:

  1. 负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。

  2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。

  3. 结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

  4. 对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。

  任职要求:

  1. 熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;

  2. 掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

  3. 精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;

  4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;

  5. 熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;

  6.计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。

大数据架构师岗位的主要职责概述

  1. 负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;

  2. 管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;

  3. 负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;

  4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

  5. 调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- xue63.com.cn 版权所有

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务