Hadoop FileSystem 그 중에서도 구현체 몇가지에 대해서 공부한 것을 간단하게만 정리한다.
HDFS는 Hadoop의 FileSystem의 추상화 개념을 구현한 것 중 하나이다.
HDFS가 Hadoop FileSystem의 구현체 중 하나라면 다른 구현체들도 있지 않겠는가?
다른 구현체들은 다음과 같다
| FileSystem | URI Scheme | Implementation | Comments |
|---|---|---|---|
| Local | file:// |
fs.LocalFileSystem |
Local용 파일 시스템. client의 checksum을 이용함(이용하지 않는 건 RawLocalFileSystem) |
| HDFS | hdfs:// |
hdfs.DistributedFileSystem |
HDFS |
| WebHDFS | webhdfs:// |
hdfs.web.WebHdfsFileSystem |
HTTP를 통한 HDFS |
| Secure WebHDFS | swebhdfs:// |
hdfs.web.SWebHdfsFileSystem |
HTTPS 버전의 WebHDFS |
| HAR | har:// |
fs.HarFileSystem |
Archive 파일을 위한 FileSystem. 주로 NameNode의 메모리 용량을 줄이기 위해서 많은 파일을 묶는데 사용됨 |
| View | viewfs:// |
viewfs.ViewFileSystem |
다른 Hadoop FileSystem을 위한 Client mount table |
| FTP | ftp:// |
fs.ftp.FTPFileSystem |
FTP |
| S3 | s3a:// |
fs.s3a.S3AFileSystem |
AWS S3를 지원. 구버전 s3n 구현체를 대체 |
| Azure | wasb |
fs.azure.NativeAzureFileSystem |
Azure를 지원 |
| Swfit | swift |
fs.swift.snative.SwiftNativeFileSystem |
OpenStack Swift를 지원 |
포스트에 대한 피드백이 있으시다면 여기로 메일 부탁드립니다. 읽어주셔서 감사합니다.