MJay

Edit CCGRID - Lambda 와 API를 통해 Latency Model을 출력하기 Lambda 1.import json 2.import collections 3.from collections import OrderedDict 4. 5.latency_list='{"C4.LARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":null,"49":null,"64":null},"C4.XLARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":null,"49":null,"64":null},"C4.2XLARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":..

일단 Repository를 만들고 AWS CLI 및 Docker를 설치하고 아래 절차에 대한 자세한 내용을 보려면 ECR 설명서 페이지를 참조하십시오. 1) 다음과 같이 레지스트리에 대해 Docker 클라이언트를 인증하는 데 사용할 수 있는 docker login 명령을 조회합니다. aws ecr get-login --no-include-email --region us-east-1 2) 이전 단계에서 반환된 docker login 명령을 실행합니다. 참고: Windows PowerShell을 사용 중인 경우, 다음 명령을 대신 실행합니다. Invoke-Expression -Command (aws ecr get-login --no-include-email --region us-east-1) 3) 다음 명령..

Edit iperf3 사용해보기 네트워크 대역폭을 측정할 수 있다.Amazon AMI에서 실행을 했다. (spark-ec2 기본 이미지이기 때문에) 2개의 Instance Launch 할 때 신경써야 할 것 Public AMI가 아니라 Private AMI를 사용했다.(이건 주관적 확실치가 않음) Spot Instance 가 아닌 On-Demand Instance로 해야한다. (Spot Instance을 쓰게 되면 Placement Group을 쓸 수 없다.) 세부사항에서 Placement Group을 Enable시켜야한다. Security Group에서 5201 포트를 열어줘야한다. iperf3는 이 포트로 통신한다 기본적으로 그리고 둘다 Instance을 킨다. Update sudo yum insta..

여러개의 Instance에서 시작해야하니 Script를 만들었다. Python 3.6 이렇게 하면 다른 Instance 타입에서 할수 있을꺼같다. 실행하고 /tmp/rc.local.log 의 결과 문제는 ubuntu에서 echo $MKLROOT를 하면 보이지 않는다. 이상하다 /etc/profile을 하면 전역 설정이라서 될줄알았는데 안된다.

Compute vCPU는 가상 CPU를 뜻하기 때문에 즉 실제 CPU Core는 하나라고 보면 된다. Memory의 단위는 GiB로 Giga Binary Byte로 3.75GB 로 보면된다. 스토리지는 하드 디스크라고 보면 되고 EBS는 Elastic Block Storage로 그냥 영구 블록이라고 생각하면 된다. 전용 EBS 대역폭(Mbps)은 Instance와 EBS 사이의 전송하는 대역폭을 뜻하는 걸로서 빠를수록 네트워킹이 좋다고 생각하면 되겠다. Compute Instance는 C3가 적당해보인다. 메모리 최적화 인스턴스 X1은 적합하지 않다. 비싸서 R4랑 R3을 비교해보면 vCPU랑 Memory는 같다. 차이점은 R3은 SSD를 가지고있다. 굳이 필요없을꺼같고 R3가 더 싸다고 했으니 R4로 ..

AWS_ACCESS_KEY는 각 계정당 2개밖에 생성이 되지 않는다. AWS_ACCESS_KEY를 삭제하면 EC2 Instance안에서 API를 불러올수없다고 나온다

EC2 Container Serivce란 무엇인가 ECS는 EC2 인스턴스 클러스터에서 손쉽게 Docker 컨테이너를 실행 , 중지 및 관리할 수 있게 해주는 확장성 및 속도가 뛰어난 컨테이너 관리 서비스입니다. API 호출을 사용하여 컨테이너 기반 애플리케이션을 시작 및 중지할 수 있고 중앙 집중식 서비스를 사용하여 클러스터 상태를 확인할 수 있으며 다수의 친숙한 Amazon EC2 기능에 엑세스 가능하다. 가용성 요구 사항이 뭘까? 계속 쓸수있게 해주는 것 가용성 Docker 컨테이너는 소프트웨어 애플리케이션이 필요한 모든 것(코드, 런타임, 시스템 도구, 시스템 라이브러리 등)을 포함하는, 소프트웨어 개발의 표준화된 단위입니다. 컨테이너는 이미지라고 하는 읽기 전용 템플릿에서 생성됩니다. 일반적으로..

일단 Repository를 만들고 AWS CLI 및 Docker를 설치하고 아래 절차에 대한 자세한 내용을 보려면 ECR 설명서 페이지를 참조하십시오. 1) 다음과 같이 레지스트리에 대해 Docker 클라이언트를 인증하는 데 사용할 수 있는 docker login 명령을 조회합니다. aws ecr get-login --no-include-email --region us-east-1 2) 이전 단계에서 반환된 docker login 명령을 실행합니다. 참고: Windows PowerShell을 사용 중인 경우, 다음 명령을 대신 실행합니다. Invoke-Expression -Command (aws ecr get-login --no-include-email --region us-east-1) 3) 다음 명령..

컨테이너를 사용하여 애플리케이션을 독립된 작업으로 또는 프로세스로 분할한다. 단일 작업 기본 단위로 컨테이너로 사용가능하다 어떤 애플리케이션을 컨테이너로 구성한다는 의미이다. 애플리케이션 = 기술 , 시스템 및 제품 등을 사용하는 것을 말한다. 응용프로그램의 줄임말이다 작업을 컨테이너에 패키징한다는 건 = 감싸준다는 것이니까 작업을 컨테이너로 보내준다고 생각하면 될꺼같다. 컨테이너를 배치 및 ETL작업에 이용할수 있다. ETL -> Extract Transformation Loading 배치 작업 = 데이터를 실시간으로 처리하는게 아니라, 일괄적으로 모아서 처리하는 작업을 의미한다. AMI을 통해 Container에서 쓸사있다는 것? Repository란 저장소라고 부르고 파일이나 폴더를 담아두는 곳 레..