hbase

今天被基友催着开始折腾hadoop集群的问题，考虑到要批量部署以及统一性的问题准备写个部署脚本，对bash脚本的话我也写过不少了，然而没想到还是碰到了问题。 因为要安装nutch、hbase、apache-ant、jdk等一堆程序，所以环境变量也有很多需要添加的，所以我没考虑使用echo逐行输入，而是使用了cat重定向到文件的方法，那么问题就来了，作为环境变量，那必然会有一大堆的"$"符号，于是乎……它们全被解析成具体的路径了，这就很尴尬。 在手动修理完后我开始研究怎么样阻止这一悲剧的发生，经过一波搜索，我找到了两个办法

工作经历：张老师，加米谷大数据创始人，国家大数据标准组成员，Spark Contributor，资深大数据专家，15年互联网IT技术经验，6年大数据项目实战经验，精通大数据领域各类技术Apache开源项目Hadoop、Hbase、Flink、Storm、Kafka、Spark等。 国家大数据标准组成员，国家信标委ITSS标准组成员。主要研究方向包括大数据架构、数据挖掘、大数据分析等领域

1、收集客户需求并进行需求评估和讨论; 2、基于车载嵌入式平台实施智能交互语音的模块开发包括需求分析概念讨论、详细设计、软件集成和模块测试; 3、实施相关模块的实车测试和标定; 4、负责解决测试人员在测试过程中发现的问题，编写与工作相关文档。 1、3年以上开发设计经验； 2、熟悉面向对象编程、常用设计模式; 3、熟悉springcloud，mybatis等框架; 4、熟悉MySQL，MongoDb，redis等数据库、缓存; 5、熟悉主流MQ，Kafka、zookeeper、ActiveMQ; 6、熟悉hbase，hadoop等大数据技术优先； 7、熟悉分布式架构，能处理多线程、TCP编程优先； 8、有智能产品的开发经验优先； 9、有较好的学习能力，抗压能力。

数据科学与大数据技术实验室建于2019年，主要承担数据科学与大数据技术专业相关的教学、实验和实践任务，是大数据专业、软件工程专业、物联网专业等本科生基础课、专业课、课程设计、生产实习、科技创新实践和毕业设计的主要场所。 实验室面积近130平方米，设备价值100万，高性能服务器5台，学生终端66台，能够满足60名学生同时上机的需求。实验室局域网与学校主干网连接，统一安装多媒体教学管理软件，实现了屏幕广播、作业下发、作业上交、远程开机关机等功能

Java程序设计、Linux操作系统、关系型数据库MySql、Web开发课程、Hadoop大数据平台基础、大数据分析的Python基础、HBase数据存储、大数据的统计基础、数据采集与网络爬虫、数据分析与数据挖掘、数据清洗、大数据行业应用导论、机器学习、云计算与大数据平台等。 大数据维护、研发、架构工程师方向，所涉及的职业岗位有：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；大数据挖掘、分析方向，所涉及的职业岗位有：大数据分析师、大数据工程师、大数据挖掘师、大数据分析师专家、大数据算法师等。 职业资格证书：Java程序设计师、Hadoop开发工程师、数据挖掘工程师、大数据可视化工程师

刘老师，电子科大研究生，人工智能与机器学习高级研发工程师，曾就职于华为AI开发部门，具有多年机器学习数据分析经验，曾参与多个大型机器学习项目和算法研发，从事人工智能算法设计项目工作，擅长使用机器学习进行算法开发与优化，对于高性能计算HPC系统有较深的研究。 张老师，原京东核心研发骨干，电子科大研究生。 Prosto、Drill源码分析员、专门从事高效大数据交互式查询研究5年软件开发经验，5年机器学习，深度学习算法经验，擅长数据分析，图像处理，自然语言处理

今天被基友催着开始折腾hadoop集群的问题，考虑到要批量部署以及统一性的问题准备写个部署脚本，对bash脚本的话我也写过不少了，然而没想到还是碰到了问题。 因为要安装nutch、hbase、apache-ant、jdk等一堆程序，所以环境变量也有很多需要添加的，所以我没考虑使用echo逐行输入，而是使用了cat重定向到文件的方法，那么问题就来了，作为环境变量，那必然会有一大堆的"$"符号，于是乎……它们全被解析成具体的路径了，这就很尴尬。 在手动修理完后我开始研究怎么样阻止这一悲剧的发生，经过一波搜索，我找到了两个办法

机器学习工程师是采用人工智能技术，研发机器学习技术的专业技术人员。 机器学习工程师的岗位职责有： 1、负责公司机器产品模型和原型的开发； 2、运用机器学习的方法，挖掘和分析数据，设计与程序适配的算法； 3、抓取所负责产品的数据进行分析，以此开展算法建模； 4、深挖用户行为模式，分析用户的独特标签，优化数据价值； 5、开发机器学习技术的应用，将算法和模型应用转为现实场景； 6、不断学习最新的机器学习技术，将算法实现到多种平台。 机器学习工程师的岗位要求有： 1、本科及以上学历，所学专业与计算机、机器人等专业相关； 2、具备良好的算法和编程能力； 3、具备机器学习和数据挖掘等领域的工作经验； 4、熟悉各种大数据系统的工作原理，例如MySQL、Hbase、Hive等

1、 负责风险控制系统、管理系统、大数据系统等设计、研发以及维护、优化工作； 2、 协助业务方梳理业务需求，提供业务规划方案、架构设计方案，并能根据方案展开研发工作；（高级及以上） 3、 带领团队攻克高并发、高稳定性，业务模型复杂等带来的各种挑战及技术难关；（高级及以上） 4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师； （高级及以上） 5、 整理和提交技术文档，负责产品功能模块的代码编写和单元测试。 任职要求: 2、 具有扎实的Java基础，熟悉J2EE体系结构，熟悉IO、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制； 3、 具有良好的系统分析、架构设计能力，熟悉软件系统分析/设计的方法论，并有丰富的实践经验；（高级及以上） 5、 熟练掌握数据库Oracle和MySQL的使用； 6、 熟悉WEB相关标准（HTML、CSS、JS、HTTP），有至少1年的web应用开发经验者优先； 7、 具备金融风险控制和分析系统或相关产品研发经验者优先； 8、 有在Hadoop、HBase、Storm等分布式平台开发测试经验者优先； 10、能承受一定的工作压力，有责任心，上进心和自我驱动力，能通过持续学习完善自身。

CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试。 以往安装配置使用Apache Hadoop时，完全需要手动在服务器上，通过命令和脚本进行安装配置，比较复杂而繁琐。使用CDH，我们可以通过Cloudera提供的CM（Cloudera Manager）来进行安装，CM是一个面向Hadoop相关软件的强大SCM工具，它提供了通过Web界面向导的方式进行软件的安装配置，此外还提供了比较基础、友好的监控、预警功能，通过Web UI展示各种已安装软件的资源使用情况、系统运行状态等等