博主自主知识产权《Spring Boot深入浅出系列课程》(16章97节文档) 已经上线,请关注

HDFS之SequenceFile和MapFile

HDFS 字母哥 0评论
  • Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。
    解决办法:通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两种类型的容器,分别是SequenceFile和MapFile。

SequenceFile

  • SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。SequenceFile文件并不保证其存储的key-value数据是按照key的某个顺序存储的,同时不支持append操作(虽然写数据方法名叫做append)。
  • 在SequenceFile文件中,每一个key-value被看做是一条记录(Record),因此基于Record的压缩策略,SequenceFile文件可支持三种压缩类型:
    NONE:对records不进行压缩;
    RECORD:仅压缩每一个record中的value值;
    BLOCK:将一个block中的所有records压缩在一起;(注:每个block的大小是可通过 io.seqfile.compress.blocksize属性来指定的)

写接口

那么,基于这三种压缩类型,Hadoop提供了对应的三种类型的Writer:

// Writer内部类用于文件的写操作,假设Key和Value都为Text类型
SequenceFile.Writer writer = SequenceFile.createWriter(conf,
         Writer.file(seqFile),
         Writer.keyClass(Text.class),
         Writer.valueClass(Text.class),
         Writer.compression(CompressionType.NONE));
SequenceFile可通过如下API来完成新记录的添加操作:
         writer.append(key,value)
//前提是Key和Value需具备序列化和反序列化的功能

读接口

SequenceFile.Reader reader=new SequenceFile.Reader(fs,seqFile,conf);
  • 实例:
public static void main(String[] args) throws IOException {
         Configuration conf = new Configuration();
         Path seqFile = new Path("/test/seqFile2.seq");
         // Writer内部类用于文件的写操作,假设Key和Value都为Text类型
         SequenceFile.Writer writer = SequenceFile.createWriter(conf,
         Writer.file(seqFile), Writer.keyClass(Text.class),
         Writer.valueClass(Text.class),
         Writer.compression(CompressionType.NONE));

         // 通过writer向文档中写入记录
         writer.append(new Text("key"), new Text("value"));

         IOUtils.closeStream(writer);// 关闭write流
         // 通过reader从文档中读取记录
         SequenceFile.Reader reader = new SequenceFile.Reader(conf,
         Reader.file(seqFile));
         Text key = new Text();
         Text value = new Text();
         while (reader.next(key, value)) {
              System.out.println(key);
              System.out.println(value);
         }
         IOUtils.closeStream(reader);// 关闭read流

    }

MAPFile

  • MapFile是排序后的SequenceFile,通过观察其目录结构可以看到MapFile由两部分组成,分别是index和data。
  • index作为文件的数据索引,主要记录了每个Record的key值,以及该Record在文件中的偏移位置。在MapFile被访问的时候,索引文件会被加载到内存,通过索引映射关系可迅速定位到指定Record所在文件位置,因此,相对SequenceFile而言,MapFile的检索效率是高效的,缺点是会消耗一部分内存来存储index数据。
  • 需注意的是,MapFile并不会把所有Record都记录到index中去,默认情况下每隔128条记录存储一个索引映射。当然,记录间隔可人为修改,通过MapFIle.Writer的setIndexInterval()方法,或修改io.map.index.interval属性;
  • 与SequenceFile不同的是,MapFile的KeyClass一定要实现WritableComparable接口,即Key值是可比较的。

示例:MapFile读写操作


Configuration conf=new Configuration(); FileSystem fs=FileSystem.get(conf); Path mapFile=new Path("mapFile.map"); //Reader内部类用于文件的读取操作 MapFile.Reader reader=new MapFile.Reader(fs,mapFile.toString(),conf); //Writer内部类用于文件的写操作,假设Key和Value都为Text类型 MapFile.Writer writer=new MapFile.Writer(conf,fs,mapFile.toString(),Text.class,Text.class); //通过writer向文档中写入记录 writer.append(new Text("key"),new Text("value")); IOUtils.closeStream(writer);//关闭write流 //通过reader从文档中读取记录 Text key=new Text(); Text value=new Text(); while(reader.next(key,value)){ System.out.println(key); System.out.println(key); } IOUtils.closeStream(reader);//关闭read流

注意:使用MapFile或SequenceFile虽然可以解决HDFS中小文件的存储问题,但也有一定局限性,如:
1. 文件不支持复写操作,不能向已存在的SequenceFile(MapFile)追加存储记录。
2. 当write流不关闭的时候,没有办法构造read流。也就是在执行文件写操作的时候,该文件是不可读取的。

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址