You are viewing an old version of this page. View the current version.
Compare with Current
View Page History
« Previous
Version 17
Next »
![](/confluence/download/attachments/47546598/apache-spark-org.png?version=1&modificationDate=1654175050012&api=v2)
http://spark.apache.org
How to create an instance of Spark Cluster in the KASI Science Cloud
- Step 1 : Choose a spark cluster template
![](/confluence/download/attachments/47546598/datacenter-templates.jpg?version=1&modificationDate=1654174458900&api=v2)
- Step 2 : Use the default settings in most cases
![](/confluence/download/attachments/47546598/datacenter-create-1.png?version=1&modificationDate=1654174732717&api=v2)
- Step 3 : Choose a flavor and Set the number of slaves (minons), then Create
![](/confluence/download/attachments/47546598/datacenter-create-2.png?version=1&modificationDate=1654174804388&api=v2)
Connect to the Master-Node and Run some basic scripts
- root 으로 접속 후, nfs 디렉토리로 이동
alias
를 확인해보면, allon
과 alloff
명령어를 볼 수 있음. 이 명령어로 Spark+Hadoop Cluster를 Star/Stop 할 수 있음.![](/confluence/download/attachments/47546598/root-1.png?version=1&modificationDate=1654184588391&api=v2)
allon
이 제대로 실행되었다면, http://master-node-ip:8080 와 http://master-node-ip:9870 에서 Spark와 Hadoop의 WebUI를 볼 수 있음.
여기까지 설정이 끝났으면, spark-submit
을 이용한 script 실행이 가능함. Jupyter Notebook을 이용한 interacitve shell mode를 이용하려면, 아래 설명한 추가 설정이 필요함.
SparkUI
![](/confluence/download/attachments/47546598/sparkui.png?version=1&modificationDate=1654185095130&api=v2)
HadoopUI
![](/confluence/download/attachments/47546598/hadoopui.png?version=1&modificationDate=1654185168537&api=v2)
- 여기까지 설정이 끝났으면,
spark-submit
을 이용한 script 실행이 가능함.
Introduction to Apache Spark