大数据的 4 V
ETL开发、hadoop开发、机器学习开发、实时计算开发、数据仓库等;
基于大数据现有生态系统的各项技术API进行集成开发 为企业提供更高视角的具有自主知识产权的综合解决方案、期间或许会涉及到各大技术的底层代码 技术要求比较高、设计的技术领域更广.
主要职责是对企业的业务模型进行抽象 运用数学思想进行数据建模 推导出数学公式或者是相应的数学算法 交由开发人员进行实现.该职位对数学领域的知识要求较高 但更重要的是对企业的业务模型和市场洞察力以及独立分析、思考能力都有严格的要求 而且需要有非常丰富的行业经验、非短时间内可以达到的程度.
大数据架构师涉及的工作范畴更多的是企业大数据的整体规划和布局 比如集群架构的设计、可伸缩性处理、高可用性对应策略、计算机硬件选型、大数据集群的构建指导方案、资源调度处理、硬件调优处理、操作系统与大数据软件栈的构建与调优等等.设计的技术知识面不论是宽度和深度都需要有相当的程度.