관리 메뉴

Hee'World

[1004jonghee]FileInputFormat 종류 본문

BigData/MapReduce

[1004jonghee]FileInputFormat 종류

Jonghee Jeon 2013. 8. 19. 14:49

맵리듀스 프로그래밍 중 FileInputFormat의 다른 유형들 입니다.

 

 

 

 

 TextInputFormat

 텍스트 파일을 분석 할때 사용하며, 키는 라인번호, 값은 라인의 내용 입니다.

 KeyValueFormat

 라인번호가 아닌 임의의 키값을 지정해서 키와 값의 목록으로 사용

 NLineInputFormat

 입력 받을 텍스트 파일의 라인수를 제한할때

 DeleGatingInputFormat

 여러 개의 서로 다른 입력 포맷을 사용하는 경우에 각 경로에 대한 작업을 위임

 CombineFileInputFormat

 위에 InputFormat 들은 파일당 스플릿을 생성하지만 CombineFileInputFormat은 여러 개의 파일을 스플릿으로 묶어서 사용.

 SequenceFileInputFormat

 시퀀스 파일을 입력 데이터로 사용할 때 사용.

 SequenceFileAsBinaryInputFormat

 시퀀스 파일의 키와 값을 바이너리 객체로 변환하여 사용

 SequenceFileAsTextInputFormat

 시퀀스 파일의 키와 값을 Text 객체로 변환하여 사용.

 

     - 시작하세요 하둡프로그래밍 -

'BigData > MapReduce' 카테고리의 다른 글

Mapper 클래스 메소드  (0) 2013.09.09
MapRedcue 컴바이너(Combiner)  (0) 2013.09.05
[1004jonghee]맵리듀스 레코드리더(RecordReader)  (0) 2013.08.13
[1004jonghee]MapReduce란?  (0) 2013.07.30
Comments