hdfs

我们不仅仅是制造机器，还象征着人们对于探险的永恒追求。热爱自由的灵魂。 1903 年，在威斯康辛州密尔沃基的一个小棚子里，四个年轻人点燃了一场文化野火，这场火将蔓延到各个地域并延烧几个世代

Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎，与 Hadoop MapReduce 相比，计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题，使得 Spark 迅速成为当前最为热门的大数据基础平台

从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。 从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。 此时，你的”大数据平台”是这样的： 在企业中，离线数据的来源主要是已存在的有固定格式的文件，或数据库中积累的结构化的数据，如何高效的进行数据的管理以及基本的统计分析是每个大数据开发者必须掌握的技能，本教程在Hadoop集群的基础上，系统的讲述了Hive的作用，安装部署过程，常用的内置函数，UDF的引入方式，数据导入导出的相关组件等，并结合一些企业的场景进行了说明

10 Spark核心技术与高级应用 于俊[等]著 2016 11 分布式实时计算框架原理及实践案例 王成光着 2016 19 网络工程师5天修炼 朱小平 施游编著 2015 百度资深Hadoop技术专家和高级算法工程师撰写，结合百度大数据实践，直击企业痛点，多位大数据技术专家联袂推荐！从使用、原理、运维和开发4个方面深度讲解Hadoop最核心的技术这是一本技术深度与企业实践并重的著作，由百度顶尖的Hadoop技术工程师撰写，是百度Hadoop技术实践经验的总结。本书使用、实现原理、运维和开发4个方面对Hadoop的核心技术进行了深入的讲解：（1）使用：详细讲解了HDFS存储系统、MapReduce计算框架，以及HDFS的命令系统；（2）原理：结合源代码，深度分析了MapReduce、HDFS、Streaming、Pipes、Hadoop作业调度系统等重要技术和组件的架构设计、工作机制和实现原理；（3）运维：结合百度的实际生产环境，详细讲解了Hadoop集群的安装、配置、测试以及管理和运维；（4）开发：详细讲解了Hadoop Streaming、Pipes的使用和开发实践，以及MapReduce的编程实践和常见问题。与市面上已有的Hadoop相比，本书的最大不同之处是它直切企业应用和实践Hadoop技术的痛点，深入讲解了企业最需要和最头疼的技术和问题，内容上非常聚焦

第一次听说Hive的时候，我是两个数据仓库项目的顾问。其中一个项目已经开发了6个月。我们的团队有12名顾问，但是进展甚微

HDFS被设计成支持非常大的文件，与HDFS兼容的应用是那些处理大数据集的应用。这些应用程序处理非常大的文件在具有只被创建和写入一次，被读取一次或多次的特性，即HDFS中存储的大文件是一次写入多次读取不支持修改的，同时要求HDFS满足应用程序以流读取速度的要求。 正是因为大数据系统对所需的文件系统有这些要求，就决定了HDFS在存储模型上具有以下特点: HDFS是一个分布式文件系统，文件以线性按字节被切割成block(块)，分散存储到HDFS集群的DataNode节点中，block在集群中就有了location(位置) 根据HDFS write-once-read-many的特性，block的大小在文件上传后就不能修改了(支持追加数据)，但是在文件上传后可以修改block的副本数量

岗位职责：1.负责公司战略新产品的研发，收集和管理各类网络数据的监测、数据分析及市场运营支撑的相关需求。2.完成项目的调研、需求分析和系统设计等，制定合理的开发计划和项目管理流程，撰写项目开发文档。3.构建大数据处理技术支撑平台（hadoop、mr、hbase、hive、redis，oracle），指导团队完成新产品的架构设计、概要设计、原型设计、交互设计

可以单独对某个indices或整个集群进行备份。 snapshot可以存放在本地或外部存储，如S3，HDFS，Azure，Google Cloud Storage等。 snapshot是增量的，每个index的snapshot不会包含之前snapshot的数据

相比于传统的MapReudce，MaxCompute提供的扩展MapReduce模型（简称MR2）改变了底层的调度和IO模型，可避免作业时冗余的IO操作。 与MaxCompute相比，MR2在Map、Reduce等函数编写方式上基本一致，较大的不同点发生在执行作业时，示例请参见Pipeline示例。 传统的MapReduce模型要求在经过每一轮MapReduce操作后，得到的数据结果必须存储到分布式文件系统中（例如，HDFS或MaxCompute数据表）

i2Backup 是英方数据定时备份与恢复功能的软件，支持各类操作系统文件系统、数据库（Oracle、MySQL、SQLServer 等）、大数据平台（如 HDFS、HIVE 等）数据备份的恢复。提供多种备份方式满足用户备份策略需求，备端重删压缩技术可节约备份空间，传输压缩可节省带宽资源、传输加密保障数据传输安全性，支持块存储、磁带库、对象存储等存储介质；备份管理员通过图形化界面实现所有数据备份恢复操作、并提供状态监控、统计报表、审计日志等，为企业核心业务数据保驾护航。 i2Backup 除支持非结构化数据文件备份之外，还支持Oracle、SQL Server、DB2、MySQL 等数据库备份