Spark Cluster 구조

Edit

Spark Cluster 구조

Driver

사용자 프로그램을 실행시키는 main() 함수를 갖고 있는 프로세수이다.

spark-shell을 사용할 때 Driver Program이 생성된다.

Worker Node

Executor를 가지고 있다.

각 Executor는 Task 들을 수행하게 RDD를 저장하게 된다.

Spark Job의 Task들을 수행하는 역할을 한다.

Spark -Submit을 통해 Application을 배포한다

%23%23%23%23%20Spark%20Cluster%20%uAD6C%uC870%0A@%28Marxico%29%0A%0A%21%5BAlt%20text%5D%28./1506046826284.png%29%0A%0A%0A%23%23%23%23%23%20Driver%0A%0A%uC0AC%uC6A9%uC790%20%uD504%uB85C%uADF8%uB7A8%uC744%20%uC2E4%uD589%uC2DC%uD0A4%uB294%20main%28%29%20%uD568%uC218%uB97C%20%uAC16%uACE0%20%uC788%uB294%20%uD504%uB85C%uC138%uC218%uC774%uB2E4.%20%0A%0Aspark-shell%uC744%20%uC0AC%uC6A9%uD560%20%uB54C%20Driver%20Program%uC774%20%uC0DD%uC131%uB41C%uB2E4.%0A%0A%23%23%23%23%23%20Worker%20Node%0A%0A%23%23%23%23%23%23%20Executor%uB97C%20%uAC00%uC9C0%uACE0%20%uC788%uB2E4.%20%0A%0A%uAC01%20Executor%uB294%20Task%20%uB4E4%uC744%20%uC218%uD589%uD558%uAC8C%20RDD%uB97C%20%uC800%uC7A5%uD558%uAC8C%20%uB41C%uB2E4.%0A%0ASpark%20Job%uC758%20Task%uB4E4%uC744%20%uC218%uD589%uD558%uB294%20%uC5ED%uD560%uC744%20%uD55C%uB2E4.%0A%0ASpark%20-Submit%uC744%20%uD1B5%uD574%20Application%uC744%20%uBC30%uD3EC%uD55C%uB2E4%0A%0A