大数据架构师岗位的职责内容
职责:
1、负责面向信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型
2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;
3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;
4、负责指导研发完成大数据产品的开发
5、带领团队进行产品核心技术的创新和积累
岗位要求:
1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;
2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;
3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;
4、有实际应用storm、spark、flume、kafka等项目经验优先;
5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。
大数据架构师岗位的职责内容
职责:
1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;
2、负责实时计算平台基础架构设计、部署、监控、优化升级;
3、制定项目数据仓库设计及实现规范,指导设计研发和部署;
4、协助策略和算法团队工作,保障数据挖掘建模和工程化;
5、深入研究大数据相关技术和产品,跟进业界先进技术。
任职要求:
1、3年以上大数据系统架构经验;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;
3、具备Java Scala Python等开发经验,熟悉数据挖掘和分析的策略与算法;
4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。
5、具备良好的系统分析能力、故障诊断能力;
6、有大数据策略、算法、可视化经验优先;
7、有在华为云存储产品和大数据产品的开发使用经验优先。
大数据架构师岗位的职责内容
职责:
1、负责大数据项目平台架构的评估、规划和设计
2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行
3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现
5、深入研究大数据相关技术和产品,跟进业界先进技术;
6、根据项目要求编写相关技术文档;
7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;
9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
10. 负责对使用关键技术的预研和选型,完成 PoC ;
11. 指导工程师完成开发工作,并能分享技术经验。
任职资格:
1、精通Linux操作系统,熟练使用Java;
2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉Hadoop、Hbase、Storm、Spark、Pig等开源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平台性能调优经验;
4、熟悉其它分布式存储相关技术,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java开发常用框架.如Spring、MyBatis等;
6、熟悉关系型数据库如oracle及数据库编程。
7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。
8、硕士以上学历,20xx年以上的工作经验。
大数据架构师岗位的职责内容
职责:
1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策
2. 参与数据挖掘和建模相关核心算法的代码实现
3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发
4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施
5. 负责数据库设计、应用架构设计、核心技术选型等工作
6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行
7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题
任职要求:
1. 熟悉大数据和数据仓库的系统架构设计方法
2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)
3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验
4. 熟练使用JAVA,具有大规模分布式系统调优经验
5. 熟悉AI相关算法,熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;
6. 具备良好的团队合作精神,对工作充满激情。
7. 熟悉FusionInsight平台开发经验者优先