MJay

Edit CCGRID - Lambda 와 API를 통해 Latency Model을 출력하기 Lambda 1.import json 2.import collections 3.from collections import OrderedDict 4. 5.latency_list='{"C4.LARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":null,"49":null,"64":null},"C4.XLARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":null,"49":null,"64":null},"C4.2XLARGE":{"1":null,"4":null,"9":null,"16":null,"25":null,"36":..

Edit Scala 공부해보기 - Day 1 왜 스칼라 인가 scalable language 간결하고 우유연하다 정적 타입의 다중 패러다임 JVM 언어이다. 작은 인터프리터 방식의 스크립트부터 대규모의 복잡한 애플리케이션에 이르기까지 폭넓은 규모 확장성을 제공하는 도구이다. JVM과 자바스크립트 언어 스칼라는 JVM의 성능과 최적화를 활욯했다. 정적 타입 스칼라는 튼튼한 애플리케이션을 만드는 도구로 정적 타입 지정을 채택했다. 타입 추론을 사용해서 대부분의 귀찮고 불필요한 타입표기를 생략할 수 있게 지원한다. 객체 지향 프로그래밍을 완벽히 지원한다. 스칼라는 혼합 합성을 사용해서 타입을 깔끔하게 구현하는 트레이트로 자바 객체 모델을 보완한다. 스칼라에서는 모든 것이 객체이다. 수를 표현하는 함수도 객체이..

CPIM/물류 용어 Design of Experiment (DOE, 실험계획법) LOVESCM 2017. 7. 21. 16:20 이웃추가 Design of Experiment (DOE, 실험계획법) DOE란 어떤 문제에 대해 실험을 통해 해결하고자 할 때, 그 실험을 계획하는 방법을 뜻한다. 어떤 방식으로 실험을 할 것인지, 데이터는 어떻게 수집할 것인지, 어떤 통계적 기법을 활용하여 데이터를 분석할 것인지를 계획한다. 이 때 중요한 점은 '최소 실험횟수'로 '최대의 정보'를 얻는 것을 목적으로 한다는 점이다. DOE에서 사용되는 주요한 용어는 다음과 같다. 1)특성치(Characteristic value) 특성치는 실험에서 데이터의 형태로 측정되는 모든 결과치(출력변수 Y)를 의미한다. 2)인자(Fac..

Edit i3.instance 의 /dev/nvme0n1에 mount하기 일단 개념부터 -> 마운트 현재 접근가능한 파일시스템에 추가적인 파일시스템을 붙이는 일 스토리지를 사용하기 위해 장치와 디렉토리[1]를 연결하는 작업 저장장치[2]에 접근할 수 있는 경로를 디렉토리 구조에 편입시키는 작업 마운트 포인트[편집] 장치가 연결되는 디렉토리 [root@zetawiki ~]# mount | grep ^/dev /dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw) /dev/vda1 on /boot type ext3 (rw) → /dev/mapper/VolGroup00-LogVol00 의 마운트 포인트: / → /dev/vda1 의 마운트 포인트: /boot i3 inst..

Edit spark-ec2 i3 instance iostat 알아보기 & NVMe 비교해보기 iostat명령은 CPU 및 디스크 입출력 통계에 대한 기본정보를 보여줍니다. apt-get install sysstat을 통해 설치를 해줘야합니다. 맨 첫째줄에 시스템 커널 버전, 호스트명, 날짜가 나오고, 두번째줄에는 마지막 재부팅 후 시스템 평균 CPU 활용률을 보여줍니다. %user : 사용자가 사용중인 프로세서가 사용한 시간(백분율) %nice : nice(작업우선순위)정책에 의해 우선순위가 바뀐 프로세서가 사용한 시간 %system : 시스템이 사용한 시간 %iowait : 입출력 대기 시간 %steal : Stael CPU 사용 시간 %idle : 유휴상태 시간 마지막줄에는 각 디스크의 장치 활용량 ..

Edit WSDM - LGBM GPU Verison 되게 하기 data type not understood 해결하기 pandas version을 다시 깔아야한다. 1.pip uninstall pandas 2.pip install pandas==0.20.3 bin 의미from GPU-acceleration for Large-scale Tree Boosting.pdf One way to find the approximate best split is to test only k split positions, and this can be done efficiently using feature histograms. We first convert continuous feature values into k discre..

Edit MKL용 AMI 만드는 법 Marxico 먼저 Script로 MKL 설치그리고 먼저 Nvidia Graphics Card를 깔아야한다.g2.instance는 GRID 520 카드라서 이에 맞는 그래픽 카드를 설치한다.그 전에 dpkg 사이즈가 커서 storage의 사이즈를 20GB 까지 늘린다.Nvidia Graphics Card 설치하기wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb$ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x8..

Machine Learning 딥러닝 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error) 똑똑이 2017. 6. 10. 2:04 이웃추가 손실함수는 정답에 대한 오류를 숫자로 나타내는 것으로오답에 가까울수록 큰 값이 나온다. 반대로 정답에 가까울수록 작은 값이 나온다. 가장 많이 사용하는 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error)에 대해알아보고 구현해보고 실행해보도록 하자. yi는 신경망의 출력, ti는 정답 레이블(One-Hot 인코딩되어 있다. 즉 정답만 1로 표시 나머진 0) 1) 평균 제곱 오차, MSE(Mean Squared Error) 2) 교차 엔트로피 오차, CEE(Cross Entropy..