Hadoop FileSystem 그 중에서도 구현체 몇가지에 대해서 공부한 것을 간단하게만 정리한다.

HDFS는 Hadoop의 FileSystem의 추상화 개념을 구현한 것 중 하나이다.

HDFS가 Hadoop FileSystem의 구현체 중 하나라면 다른 구현체들도 있지 않겠는가?

다른 구현체들은 다음과 같다

FileSystem URI Scheme Implementation Comments
Local file:// fs.LocalFileSystem Local용 파일 시스템. client의 checksum을 이용함(이용하지 않는 건 RawLocalFileSystem)
HDFS hdfs:// hdfs.DistributedFileSystem HDFS
WebHDFS webhdfs:// hdfs.web.WebHdfsFileSystem HTTP를 통한 HDFS
Secure WebHDFS swebhdfs:// hdfs.web.SWebHdfsFileSystem HTTPS 버전의 WebHDFS
HAR har:// fs.HarFileSystem Archive 파일을 위한 FileSystem. 주로 NameNode의 메모리 용량을 줄이기 위해서 많은 파일을 묶는데 사용됨
View viewfs:// viewfs.ViewFileSystem 다른 Hadoop FileSystem을 위한 Client mount table
FTP ftp:// fs.ftp.FTPFileSystem FTP
S3 s3a:// fs.s3a.S3AFileSystem AWS S3를 지원. 구버전 s3n 구현체를 대체
Azure wasb fs.azure.NativeAzureFileSystem Azure를 지원
Swfit swift fs.swift.snative.SwiftNativeFileSystem OpenStack Swift를 지원

포스트에 대한 피드백이 있으시다면 여기로 메일 부탁드립니다. 읽어주셔서 감사합니다.