목록Cloud Computing (132)
MJay
Matrix multiplication on GPU using CUDA with CUBLAS, CURAND and Thrust Posted on May 31, 2012 by Sol The code for this tutorial is on GitHub: https://github.com/sol-prog/cuda_cublas_curand_thrust. Matrix multiplication is an essential building block for numerous numerical algorithms, for this reason most numerical libraries implements matrix multiplication. One of the oldest and most used matrix..
CPIM/물류 용어 Design of Experiment (DOE, 실험계획법) LOVESCM 2017. 7. 21. 16:20 이웃추가 Design of Experiment (DOE, 실험계획법) DOE란 어떤 문제에 대해 실험을 통해 해결하고자 할 때, 그 실험을 계획하는 방법을 뜻한다. 어떤 방식으로 실험을 할 것인지, 데이터는 어떻게 수집할 것인지, 어떤 통계적 기법을 활용하여 데이터를 분석할 것인지를 계획한다. 이 때 중요한 점은 '최소 실험횟수'로 '최대의 정보'를 얻는 것을 목적으로 한다는 점이다. DOE에서 사용되는 주요한 용어는 다음과 같다. 1)특성치(Characteristic value) 특성치는 실험에서 데이터의 형태로 측정되는 모든 결과치(출력변수 Y)를 의미한다. 2)인자(Fac..
Matrix multiplication on GPU using CUDA with CUBLAS, CURAND and Thrust Posted on May 31, 2012 by Sol The code for this tutorial is on GitHub: https://github.com/sol-prog/cuda_cublas_curand_thrust. Matrix multiplication is an essential building block for numerous numerical algorithms, for this reason most numerical libraries implements matrix multiplication. One of the oldest and most used matrix..
Edit 분산특론 Chapter 1 Characterization of Distributed Systems Objectives To be aware of the characteristics of concurrency, independent failure of components and lack of a global clock, which necessarily arise in a distributed system consisting of components that coordinate their actions only by passing messages.To gain a good understanding of the challenges related to heterogeneity, openness, sec..
Machine Learning 딥러닝 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error) 똑똑이 2017. 6. 10. 2:04 이웃추가 손실함수는 정답에 대한 오류를 숫자로 나타내는 것으로오답에 가까울수록 큰 값이 나온다. 반대로 정답에 가까울수록 작은 값이 나온다. 가장 많이 사용하는 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error)에 대해알아보고 구현해보고 실행해보도록 하자. yi는 신경망의 출력, ti는 정답 레이블(One-Hot 인코딩되어 있다. 즉 정답만 1로 표시 나머진 0) 1) 평균 제곱 오차, MSE(Mean Squared Error) 2) 교차 엔트로피 오차, CEE(Cross Entropy..
일단 Repository를 만들고 AWS CLI 및 Docker를 설치하고 아래 절차에 대한 자세한 내용을 보려면 ECR 설명서 페이지를 참조하십시오. 1) 다음과 같이 레지스트리에 대해 Docker 클라이언트를 인증하는 데 사용할 수 있는 docker login 명령을 조회합니다. aws ecr get-login --no-include-email --region us-east-1 2) 이전 단계에서 반환된 docker login 명령을 실행합니다. 참고: Windows PowerShell을 사용 중인 경우, 다음 명령을 대신 실행합니다. Invoke-Expression -Command (aws ecr get-login --no-include-email --region us-east-1) 3) 다음 명령..
Edit iperf3 사용해보기 네트워크 대역폭을 측정할 수 있다.Amazon AMI에서 실행을 했다. (spark-ec2 기본 이미지이기 때문에) 2개의 Instance Launch 할 때 신경써야 할 것 Public AMI가 아니라 Private AMI를 사용했다.(이건 주관적 확실치가 않음) Spot Instance 가 아닌 On-Demand Instance로 해야한다. (Spot Instance을 쓰게 되면 Placement Group을 쓸 수 없다.) 세부사항에서 Placement Group을 Enable시켜야한다. Security Group에서 5201 포트를 열어줘야한다. iperf3는 이 포트로 통신한다 기본적으로 그리고 둘다 Instance을 킨다. Update sudo yum insta..
Edit r4 Instance Scalability 조사 Item vCPU 클록 속도(GHz) Memory SSD(GB) ECU 네트워킹 성능 향상된 네트워킹 가격(시간당) r4.large 2 2.3 15.25 EBS 7 최대 10기가비트 예 $0.133 r4.xlarge 4 2.3 30.5 EBS 13.5 최대 10기가비트 예 $0.266 r4.2xlarge 8 2.3 61 EBS 27 최대 10기가비트 예 $0.532 r4.4xlarge 16 2.3 122 EBS 53 최대 10기가비트 예 $1.064 r4.8xlarge 32 2.3 244 EBS 99 10기가비트 예 $2.128 r4.16xlarge 64 2.3 488 EBS 195 25기가비트 예 $4.256 ECU와 vCPU에 대해 알아보기처음..
Edit Spark-EC2 Too large frame spark-ec2 부분을 수정하여 Instance Storage 사이즈 늘림 if opts.spot_price is not None: # Launch spot instances with the requested price ondemand_price = get_instance_price(opts.instance_type) bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price print("Requesting %d slaves as spot instances with price $%.3f" % (opts.slaves, bid_spot_price)) zo..
Edit Spark에서 왜 결과값이 16*16이 아니라 4*4 인지 Code를 통해 설명 private[mllib] object GridPartitioner { /** Creates a new [[GridPartitioner]] instance. */ def apply(rows: Int, cols: Int, rowsPerPart: Int, colsPerPart: Int): GridPartitioner = { new GridPartitioner(rows, cols, rowsPerPart, colsPerPart) } /** Creates a new [[GridPartitioner]] instance with the input suggested number of partitions. */ def apply(r..