博主自主知识产权《Spring Boot深入浅出系列课程》(16章97节文档) 已经上线,请关注

 分类:HDFS

HDFS之SequenceFile和MapFile

Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。 解决办法:通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两...

字母哥 5年前 (2016-03-16) 2702℃

HDFS简介

HDFS(Hadoop Distributed FileSystem)hadoop 分布式文件系统 把数据文件分布到不同的节点上的目的是什么?在不同的节点上分布式计算,计算靠近数据的原则。 Hadoop集群硬件部署结构: * Rack为机架,Switch为交换机(千兆,百兆) ...

字母哥 5年前 (2016-03-16) 2669℃