MJay

Edit Spark Cluster 구조 Driver 사용자 프로그램을 실행시키는 main() 함수를 갖고 있는 프로세수이다. spark-shell을 사용할 때 Driver Program이 생성된다. Worker Node Executor를 가지고 있다. 각 Executor는 Task 들을 수행하게 RDD를 저장하게 된다.Spark Job의 Task들을 수행하는 역할을 한다.Spark -Submit을 통해 Application을 배포한다 %23%23%23%23%20Spark%20Cluster%20%uAD6C%uC870%0A@%28Marxico%29%0A%0A%21%5BAlt%20text%5D%28./1506046826284.png%29%0A%0A%0A%23%23%23%23%23%20Driver%0A%0A%u..

Edit Spark-EC2에서 EBS Instance Storage를 올리는 방법 Block Size를 늘리다보면 Java Heap Space - Memory 랑 관련이 있다.Disk Instance - Disk Storage랑 관려된 문제이다.해결책은 Instance Storage를 늘리는 것이다. if opts.spot_price is not None: # Launch spot instances with the requested price ondemand_price = get_instance_price(opts.instance_type) bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price prin..

Edit SparkCL 논문을 읽어봄 tistory Spark CL 2번 읽고 구현해보자 ㄲ Abstract Device Programming Layer에서 한다 Aparapi and Spark programming layer Introduction Heterogeneous Environment가 뜨고 있다. OpenCL 좋지만, C, C++ 위주로 돼 있어서 별로다 Hadoop and Spark treat computer as a collection of conventional cores GPU나 가속기에 대해 잘 통합된 구조가 아니다 spark는 GPU를 core operation으로 통합하는 게 SparkCL 이걸 하기 위해 2개의 OpenSouce를 쓴다 SparkCL Aparapi 구성 자바 유..

Edit Spearmint tistory Practical Bayesian Optimization of Machine Learning Algorithms JasperCode가 몇개 있음 python 설치 sudo apt-get install python-pip python-dev sudo apt-get install libcupti-dev sudo apt-get install python-pip python-dev apt-get install python-numpy apt-get install python-scipy apt-get install python-protobuf git clone https://github.com/google/protobuf.git apt-get install protobuf-..

Edit 더블 버퍼링 tistory Reduction 여러 개의 값을 모두 합하거나 , 최대값을 구하거나, 최소값을 구하거나 해서 하나의 결과값을 구하는 과정 실습에선 합으로 했다. 16,777,216 정수들의 평균을 구하는 프로그램이다. 더블 버퍼링을 해서 적분을 한 경우 더블 버퍼링을 통해 계산이랑 데이터 전송을 동시에 하기 때문에 더 빠르다 실습으로 3차원 함수에 대한 적분을 해봄 그냥 적분을 한 경우 Double Buffering 의 Kernel Local Memory가 쓰인다 호스트 프로그램에서 할당해준다(clSetKernelArg) CFlush Flush는 커맨드큐의 커맨드들이 디바이스로 갈때까지 기다린다 이벤트 오브젝트 %23%23%23%20%uB354%uBE14%20%uBC84%uD37C%..

행렬에서의 BFS는 CPU에 맞게 잘라주는 것이다. 결론 행렬에서의 DFS는 메모리가 부족할 경우 잘라주는 것이다.

먼저 Script로 MKL 설치 그리고 먼저 Nvidia Graphics Card를 깔아야한다. g2.instance는 GRID 520 카드라서 이에 맞는 그래픽 카드를 설치한다. 그 전에 dpkg 사이즈가 커서 storage의 사이즈를 20GB 까지 늘린다. Nvidia Graphics Card 설치하기 wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb $ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1..

여러개의 Instance에서 시작해야하니 Script를 만들었다. Python 3.6 이렇게 하면 다른 Instance 타입에서 할수 있을꺼같다. 실행하고 /tmp/rc.local.log 의 결과 문제는 ubuntu에서 echo $MKLROOT를 하면 보이지 않는다. 이상하다 /etc/profile을 하면 전역 설정이라서 될줄알았는데 안된다.

[OpenBLAS : An optimized BLAS library](http://www.openblas.net/) OpenBlas Make 하는법 make 하고 make prefix=./ install 한다 benchmark에 있는 goto 실행하려면 OpenBlas에서 make NO_LAPACK = 0 -j48 로 하면 됨 NO_LAPACK=0 의미는 lapack을 안쓴다는 거 같다. 그리고 make PREFIX=./ install 하면 .dgesv.goto를 실행할수있다.