MJay

Edit r4 Instance Scalability 조사 Item vCPU 클록 속도(GHz) Memory SSD(GB) ECU 네트워킹 성능 향상된 네트워킹 가격(시간당) r4.large 2 2.3 15.25 EBS 7 최대 10기가비트 예 $0.133 r4.xlarge 4 2.3 30.5 EBS 13.5 최대 10기가비트 예 $0.266 r4.2xlarge 8 2.3 61 EBS 27 최대 10기가비트 예 $0.532 r4.4xlarge 16 2.3 122 EBS 53 최대 10기가비트 예 $1.064 r4.8xlarge 32 2.3 244 EBS 99 10기가비트 예 $2.128 r4.16xlarge 64 2.3 488 EBS 195 25기가비트 예 $4.256 ECU와 vCPU에 대해 알아보기처음..

Edit Spark-EC2 Too large frame spark-ec2 부분을 수정하여 Instance Storage 사이즈 늘림 if opts.spot_price is not None: # Launch spot instances with the requested price ondemand_price = get_instance_price(opts.instance_type) bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price print("Requesting %d slaves as spot instances with price $%.3f" % (opts.slaves, bid_spot_price)) zo..

Edit 공부의 목표 - 완전학습 완전학습은 완벽이해와 완벽암기로 구성 완벽이해 복습을 통해 성취가능하다. -> 복습이란 -> 이해한 것과 못한 것으로 구분하는 것이다 이해했는지 안했는지 구분 할려면 말이나 글로 설명해보면 된다. 완벽암기 암기한 것과 못한 것을 구분하는 것이다 기준은 2초 이내 말이나 글로 설명할수있어야한다. 구분의 Rule 예습 - 배울 내용 중 이해한 것과 못한 것 구분 수업 - 이해 못한 것과 암기해야 할 것 구분 복습 - 완벽이해, 완벽암기한 것과 못한 것 구분 구분을 통해 이해하지 못한 것과 암기하지 못한 것, 즉 모르는 것을 줄여나가는 것이 공부의 비결이다. 그리고 반복이 핵심이다. 나한테 맞게 정리해보자면 모르는 것을 줄여나가는게 공부의 비결이다. 말로나 글로 설명해보면 내..

Edit Spark에서 왜 결과값이 16*16이 아니라 4*4 인지 Code를 통해 설명 private[mllib] object GridPartitioner { /** Creates a new [[GridPartitioner]] instance. */ def apply(rows: Int, cols: Int, rowsPerPart: Int, colsPerPart: Int): GridPartitioner = { new GridPartitioner(rows, cols, rowsPerPart, colsPerPart) } /** Creates a new [[GridPartitioner]] instance with the input suggested number of partitions. */ def apply(r..

Edit Spark Cluster 구조 Driver 사용자 프로그램을 실행시키는 main() 함수를 갖고 있는 프로세수이다. spark-shell을 사용할 때 Driver Program이 생성된다. Worker Node Executor를 가지고 있다. 각 Executor는 Task 들을 수행하게 RDD를 저장하게 된다.Spark Job의 Task들을 수행하는 역할을 한다.Spark -Submit을 통해 Application을 배포한다 %23%23%23%23%20Spark%20Cluster%20%uAD6C%uC870%0A@%28Marxico%29%0A%0A%21%5BAlt%20text%5D%28./1506046826284.png%29%0A%0A%0A%23%23%23%23%23%20Driver%0A%0A%u..

Edit Spark-EC2에서 EBS Instance Storage를 올리는 방법 Block Size를 늘리다보면 Java Heap Space - Memory 랑 관련이 있다.Disk Instance - Disk Storage랑 관려된 문제이다.해결책은 Instance Storage를 늘리는 것이다. if opts.spot_price is not None: # Launch spot instances with the requested price ondemand_price = get_instance_price(opts.instance_type) bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price prin..