Apache Hadoop

hadoop-mapreduce-project - Grep.java

RegexMapper.java

LongSumReducer.java

맵리듀스 프레임워크의 동작 과정

맵리듀스 프로그램을 작성하기 위해 기억해야 될 핵심 포인트

• 로컬에서 실행할 때는 매퍼가 파일 개수만큼 생성된다.

• 각 파일의 데이터가 매퍼에게 한 줄 단위로 전달된다.

• 매퍼 클래스를 작성할 때는 전달된 한 줄의 데이터에 대한 변환만 기술하면 되며, 복수의 (키, 값)을 방출하도록 작성한다.

• 매퍼가 방출한 (키, 값) 쌍은 키별로 값이 묶여서 리듀서에게 전달된다.

• 리듀서는 전달된 키와 값의 리스트를 최종 결과로 변환한다.

• 매퍼와 리듀서가 생성될 때 호출되는 setup()과 종료될 때 호출되는 cleanup()을 잘 활용한다.
• 예를 들어 가장 큰 점수의 데이터를 확인하고 싶을 때 매번 보낼 필요 없이 계속 업데이트 하다가 cleanup() 으로 최종 결과를 보내면 된다.