MJay

Edit Spark에서 왜 결과값이 16*16이 아니라 4*4 인지 Code를 통해 설명 private[mllib] object GridPartitioner { /** Creates a new [[GridPartitioner]] instance. */ def apply(rows: Int, cols: Int, rowsPerPart: Int, colsPerPart: Int): GridPartitioner = { new GridPartitioner(rows, cols, rowsPerPart, colsPerPart) } /** Creates a new [[GridPartitioner]] instance with the input suggested number of partitions. */ def apply(r..

Edit Spark Cluster 구조 Driver 사용자 프로그램을 실행시키는 main() 함수를 갖고 있는 프로세수이다. spark-shell을 사용할 때 Driver Program이 생성된다. Worker Node Executor를 가지고 있다. 각 Executor는 Task 들을 수행하게 RDD를 저장하게 된다.Spark Job의 Task들을 수행하는 역할을 한다.Spark -Submit을 통해 Application을 배포한다 %23%23%23%23%20Spark%20Cluster%20%uAD6C%uC870%0A@%28Marxico%29%0A%0A%21%5BAlt%20text%5D%28./1506046826284.png%29%0A%0A%0A%23%23%23%23%23%20Driver%0A%0A%u..

Edit Spark-EC2에서 EBS Instance Storage를 올리는 방법 Block Size를 늘리다보면 Java Heap Space - Memory 랑 관련이 있다.Disk Instance - Disk Storage랑 관려된 문제이다.해결책은 Instance Storage를 늘리는 것이다. if opts.spot_price is not None: # Launch spot instances with the requested price ondemand_price = get_instance_price(opts.instance_type) bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price prin..

Edit P100 서버 설치 과정 P100 tistory #일단 build-essential을 깔아야한다 sudo apt-get update -y sudo apt-get upgrade -y sudo apt-get install build-eseential sudo apt-get autoremove #ssh를 깔아야한다. sudo apt-get install openssh-server #/etc/ssh/sshd_config가 생긴다 #거기 들어가서 port 22001 추가 sudo vi /etc/ssh/sshd_config #적용 sudo /etc/init.d/ssh restart #고정 ip는 UI에서 함 #ip 203.246.*.* #subnet 255.255.255.0 #gateway 203.246...

Edit 정보 보호 정보보호특론 정보보호특론 정보 보호의 목적 Confidentiality Integrity Availiablity Authentication 정보를 나쁘게 쓰는 Case cipher-text only attack brute force statistical analysis chosen-plain text attack DES 1. Data Encryption Standarard 64bit 해독할 수 있다 블록 암호이다. (암호학에서 블록 암호(block cipher)란 기밀성 있는 정보를 정해진 블록 단위로 암호화하는 대칭키 암호 시스템이다. 만약 암호화하려는 정보가 블록 길이보다 길 경우에는 특정한 운용 모드가 사용된다. 16 identical rounds of function appli..

Edit GPU Server import tensorflow as tf 오류 tistory 할때 오류가 날 수 있다.cudnn 7 버전을 설치할 경우 cudnn 5 버전을 다시 설치해야한다.cuDNN 5.1 버전을 다운 받고 $tar xvzf cudnn-8.0-linux-x64-v5.1-ga.tgz $ sudo cp -P cuda/include/cudnn.h /usr/local/cuda/include $ sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64 $ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* 이걸 실행하면 된다. %23%23%23%20GPU%20Serve..

Edit SparkCL 논문을 읽어봄 tistory Spark CL 2번 읽고 구현해보자 ㄲ Abstract Device Programming Layer에서 한다 Aparapi and Spark programming layer Introduction Heterogeneous Environment가 뜨고 있다. OpenCL 좋지만, C, C++ 위주로 돼 있어서 별로다 Hadoop and Spark treat computer as a collection of conventional cores GPU나 가속기에 대해 잘 통합된 구조가 아니다 spark는 GPU를 core operation으로 통합하는 게 SparkCL 이걸 하기 위해 2개의 OpenSouce를 쓴다 SparkCL Aparapi 구성 자바 유..

Edit NVBLAS 논문 tistory NVBlas Fatman vs LittleBoy 어떻게 구조가 되어있는지대치어 없음 Wrapper라면 Spark에서 어떻게 작동하는 건지 알아봐야겠다.OpenBLAS 랑 NVBLAS를 둘다 쓰면 된다.sparse matrix에서 는 성능이 안좋다.you might need to pick the appropriate value of NVBLAS_TILE_DIM from nvblas.conf, because for older GPU the default value is too big and some operations might return zero.CublasXT is a set of routines which accelerate Level 3 BLAS (Basic..

Edit Spearmint tistory Practical Bayesian Optimization of Machine Learning Algorithms JasperCode가 몇개 있음 python 설치 sudo apt-get install python-pip python-dev sudo apt-get install libcupti-dev sudo apt-get install python-pip python-dev apt-get install python-numpy apt-get install python-scipy apt-get install python-protobuf git clone https://github.com/google/protobuf.git apt-get install protobuf-..

Edit 더블 버퍼링 tistory Reduction 여러 개의 값을 모두 합하거나 , 최대값을 구하거나, 최소값을 구하거나 해서 하나의 결과값을 구하는 과정 실습에선 합으로 했다. 16,777,216 정수들의 평균을 구하는 프로그램이다. 더블 버퍼링을 해서 적분을 한 경우 더블 버퍼링을 통해 계산이랑 데이터 전송을 동시에 하기 때문에 더 빠르다 실습으로 3차원 함수에 대한 적분을 해봄 그냥 적분을 한 경우 Double Buffering 의 Kernel Local Memory가 쓰인다 호스트 프로그램에서 할당해준다(clSetKernelArg) CFlush Flush는 커맨드큐의 커맨드들이 디바이스로 갈때까지 기다린다 이벤트 오브젝트 %23%23%23%20%uB354%uBE14%20%uBC84%uD37C%..