Apache Spark

date

Mar 12, 2024

slug

apache-spark

status

Published

스파크의 동작 과정

드라이버(Driver)와 익스큐터(Executor) 프로그램이 협동하여 일을 처리한다.

드라이버는 main이 돌아가는 프로그램, 익스큐터에게 적절히 분산 처리를 명령하면 익스큐터는 그 명령에 따라 실제 병렬 처리를 수행한다.

위 코드를 spark-shell 환경에서 실행했다면 spark-shell이 드라이버 프로그램이 된다. 드라이버는 코드의 내용을 해석해서 익스큐터에게 필요한 일을 시키고, 필요할 때 그 결과를 돌려받는다.

즉 코드는 spark-shell에서 입력했지만, 실제 일은 다른 머신에서 일어나는 것이다.

또한 트랜스포메이션(Transformation)과 액션(Action)으로 나뉜다는 개념이 존재하는데, map, filter, flatMap, distinct 와 같은 트랜스포메이션 연산은 lazy하게 동작하여 reduce, collect, foreach, count 와 같은 액션 연산이 발생할 때까지 계산을 미룬다.

만약 데이터가 커서 하나의 연산에 몇 분씩 걸리는 상황에서 lazy한 평가 방식이 없었다면, 한 줄의 코드를 입력할 때마다 긴 시간을 기다려야 한다.

실행 결과

마스터(Master)와 슬레이브(Slave)를 기동하였고, 슬레이브는 마스터와 연결되어 있다.

위 코드를 실행한 환경은 1개의 Worker에 8개의 Core가 준비되어 있는 상태이며, 공백을 기준으로 split했을 때 8개의 데이터가 RDD에 존재하고 있다.

8개의 익스큐터가 실행되어 아래 사진과 같이 병렬 처리가 분산된 것을 확인할 수 있다.

Hadoop과의 비교

Java로 Hadoop을 사용했을 때 Mapper, Reducer 클래스를 작성할 때 많은 코드가 필요했지만, Spark는 RDD의 고차 함수인 flatMap, map, reduceByKey 를 사용하여 익스큐터에 의해 연산된 결과를 드라이버에서 collect하여 결과를 확인할 수 있었다.

→ 실제 연산 수행은 드라이버가 아닌 익스큐터에서 실행되기 때문에 collect를 사용하지 않고 println만 수행하면 아무런 결과가 출력되지 않는다.

→ collect를 통해 분산되어 있는 RDD의 내용을 드라이버가 수집하며, 이제 정상적으로 출력할 수 있다.