文章目录 计算机集群结构 分布式文件系统的结构 HDFS组成部件 数据块block NameNode与DataNode SecondaryNameNode 参考 2.4 分布式文件系统HDFS组成...
文章目录 HDFS体系结构概述 HDFS命名空间管理 HDFS通信协议 客户端 HDFS体系结构的局限性 参考 2.4 分布式文件系统HDFS组成架构 2.5 HDFS体系架构 2....
文章目录 HDFS存储原理 冗余数据保存 数据存取策略 数据错误与恢复 名称节点出错 数据节点出错 数据出错 参考 2.4 分布式文件系统HDFS组成架构 2...
文章目录 启动HDFS HDFS shell操作 ls text mv put rm HDFS shell操作练习 参考 2.4 分布式文件系统HDFS组成架构 2.5 HDFS体系架构 2.6 HDFS存储...
文章目录 分布式处理框架 MapReduce 什么是MapReduce MapReduce编程模型 Hadoop Streaming 实现wordcount Mapper Reducer 上传文件 得到最终的输出 ...
文章目录 mrjob mrjob 简介 mrjob 安装 mrjob实现WordCount 运行MRJOB的不同方式 mrjob 实现 topN统计 参考 mrjob mrjob 简介 使用python开发在...
文章目录 MRJOB 文件合并 需求描述 mrjob 实现 参考 MRJOB 文件合并 需求描述 两个文件合并 类似于数据库中的两张表合并 uid uname01 user1 02 use...
文章目录 MapReduce原理 MapReduce架构 参考 MapReduce原理 单机程序计算流程 输入数据—>读取数据—>处理数据—>写入数据—>输出数据 Hadoo...
文章目录 Hadoop的优化与发展 Hadoop的局限与不足 Hadoop的改进与提升 HDFS2.0的新特性 HDFS HA HDFS Federation 资源管理调度框架YARN MapRedu...
文章目录 Hadoop生态系统 Hadoop生态系统中具有代表性的功能组件 Pig Tez Spark Kafka 参考 Hadoop生态系统 狭义的Hadoop VS 广义的Hadoop 广义的Ha...
