论文部分内容阅读
HDFS是一种高容错性的分布式系统。它支持的数据集在GB到TB级别,然而对大量小文件存取支持不足。由于在处理大数量级的小文件时,会使得Name Node内存消耗过度,造成文件的存取性能降低。因此提出了一种根据文件类型分类小文件的合并策略。通过建立索引信息服务器来存储存放在用户文件中的小文件的元数据信息,可以达到高效读取小文件的目的。实验结果表明,该优化策略能有效降低Name Node内存消耗,提高HDFS文件系统对大量小文件读取效率。