Hadoop文件系統支持釋疑之S3

一、引言

　　Hadoop版本提供了對多種文件系統的支持，但是這些文件系統是以何種方式實現的，其實現原理是什麼以前並沒有深究過。今天正好有人諮詢我這個問題：Hadoop對S3的支持原理是什麼？特此總結一下。Hadoop支持的文件系統包括：　　

　　文件系統 URI前綴 hadoop的具體實現類

　　Local file fs.LocalFileSystem

　　HDFS hdfs hdfs.DistributedFileSystem

　　HFTP hftp hdfs.HftpFileSystem

　　HSFTP hsftp hdfs.HsftpFileSystem

　　HAR har fs.HarFileSystem

　　KFS kfs fs.kfs.KosmosFileSystem

　　FTP ftp fs.ftp.FTPFileSystem

　　S3 (native) s3n fs.s3native.NativeS3FileSystem

　　S3 (blockbased) s3 fs.s3.S3FileSystem

二、爭議觀點

　　1.Hadoop對S3文件系統的支持是通過自己實現S3文件系統來做的嗎？

　　 2.Hadoop對S3文件系統的支持是通過S3文件系統介面，實現的對S3文件系統的整合？

三、源碼解析

View Code

四、有圖有真相

五、結論

　　Hadoop對S3文件系統的支持通過S3文件系統介面，實現的對S3文件系統的整合。有感興趣的可以自行參照源碼。