MJay

CPIM/물류 용어 Design of Experiment (DOE, 실험계획법) LOVESCM 2017. 7. 21. 16:20 이웃추가 Design of Experiment (DOE, 실험계획법) DOE란 어떤 문제에 대해 실험을 통해 해결하고자 할 때, 그 실험을 계획하는 방법을 뜻한다. 어떤 방식으로 실험을 할 것인지, 데이터는 어떻게 수집할 것인지, 어떤 통계적 기법을 활용하여 데이터를 분석할 것인지를 계획한다. 이 때 중요한 점은 '최소 실험횟수'로 '최대의 정보'를 얻는 것을 목적으로 한다는 점이다. DOE에서 사용되는 주요한 용어는 다음과 같다. 1)특성치(Characteristic value) 특성치는 실험에서 데이터의 형태로 측정되는 모든 결과치(출력변수 Y)를 의미한다. 2)인자(Fac..

Machine Learning 딥러닝 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error) 똑똑이 2017. 6. 10. 2:04 이웃추가 손실함수는 정답에 대한 오류를 숫자로 나타내는 것으로오답에 가까울수록 큰 값이 나온다. 반대로 정답에 가까울수록 작은 값이 나온다. 가장 많이 사용하는 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error)에 대해알아보고 구현해보고 실행해보도록 하자. yi는 신경망의 출력, ti는 정답 레이블(One-Hot 인코딩되어 있다. 즉 정답만 1로 표시 나머진 0) 1) 평균 제곱 오차, MSE(Mean Squared Error) 2) 교차 엔트로피 오차, CEE(Cross Entropy..

CPIM/물류 용어 Design of Experiment (DOE, 실험계획법) LOVESCM 2017. 7. 21. 16:20 이웃추가 Design of Experiment (DOE, 실험계획법) DOE란 어떤 문제에 대해 실험을 통해 해결하고자 할 때, 그 실험을 계획하는 방법을 뜻한다. 어떤 방식으로 실험을 할 것인지, 데이터는 어떻게 수집할 것인지, 어떤 통계적 기법을 활용하여 데이터를 분석할 것인지를 계획한다. 이 때 중요한 점은 '최소 실험횟수'로 '최대의 정보'를 얻는 것을 목적으로 한다는 점이다. DOE에서 사용되는 주요한 용어는 다음과 같다. 1)특성치(Characteristic value) 특성치는 실험에서 데이터의 형태로 측정되는 모든 결과치(출력변수 Y)를 의미한다. 2)인자(Fac..

목차 무슨 학회인지 참석했던 섹션 및 발표 만났던 사람들 느낀 점 학회 - IEEE CLOUD 2017(http://www.thecloudcomputing.org/2017/) 학회 장소 팜플렛 - Cloud 뿐만 아니라 다른 학회도 많이 했다. ICWS - Internation Conference on Web Services SCC - Services Computing AIMS - AI & Mobile Services Program ( 일요일부터 금요일까지) KeyNote 교수님이 발표하신 날 , 파티 Keynote 일단 Cloud 위주로만 봤습니다. Hierarchical Spark - [Cloud2017.pdf](http://www.cs.ucf.edu/~lwang/papers/Cloud2017.pdf..

Scale-Up에서 확장성 문제가 나타난다 자바 가상 머신의 GC(Garbage Collection)에 의한 오버헤드 scale-up 서버의 NUMA(Non Un-iform Memory Access) 메모리 구조에 따른 메모리 접근 지연(Memory Access Latency) 시간 문제 공유 메모리 시스템(Shared Memory System) scale-up 서버를 파티셔닝(partitioning)하여 하나의 서버를 분산 시스템(Distributed System) 메모리를 사용하기 때문에 맵리듀스보다 빠르다는 장점 그러나 도커는 게스트 OS를 설치하지 않고, OS 이미지가 동작하도록 CPU와 메모리 영역만 가상화한다. 자바 가상 머신에서 GC가 호출되면, 자바 가상 머신에서 수행되는 쓰레드들은 멈추고..

요 약 기존의 빅데이터(BigData) 플랫폼에서는 분산 처리 환경(scale-out)을 기반으로 한 하둡(Hadoop)과 스파크(Spark)와 같은 분산 처리 프레임워크가 많이 사용되어 왔다. 하지만 최근 기술이 발달하여 매니코어(Many-core) 기술과 같은 고성능 컴퓨팅 서버가 보편화됨에 따라 여러 대의 서버로 구성된 분산 처리 환경 대신 한 대의 고성능 컴퓨터 환경(scale-up)에서 분산 처리 프레임워크를 구축하여 빅데이터를 처리하는 시도가 가능해졌다. 따라서 이러한 방법이 현실화되기 위해서는 코어 수 증가에 따른 성능 확장 (scalability)이 확보되어야 한다. 본 논문에서는 하둡 파일 시스템(HDFS)과 아파치 스파크(Apache Spark) 시스템을 120 코어로 구성된 단일 sc..

aux는 뭐하는 파일일까? aux file is opened for writing in \begin{document} 이라고 한다 이게 어디있는지 찾아봐야겠다. aux파일에 begin document는 없다 \cite 에서 쓰이는 구먼 Reference는 어떻게 가져오는걸까? 어떻게 인용은 하는걸까 처음에 보면 \documentclass [confernece] {IEEEtran} 이게 뭘까? 온라인 Latex는 많은 패키지가 이미 인스톨 되어있다. Sharelatex 나 Overleaf가 있다. 처음에 Blank 로 시작해서 IEEE 템플릿을 다운받아야한다. ieeeconf.zip ieeetransBST.zip IEEtranhowto.pdf 이렇게 3가지가 있군 일단 여기까지만 하자 \usepackage..

정리 LightWeight Runtime Environment Programming 그래서 DLA와 Computation Application을 잘 디자인하는게 중요하다 현재 과제는 계산을 GPU,CPU,Coprocessor로 나눠서 쓰게 하는거랑 Balance Load, Idle Times 이다 A Programming Model refers to the style of programming where execution is invoked by making what appear to be library calls. 그래서 NEW API를 만들었다. lightweight superscalar runtime environment에서 이건 task scheduling을 자동으로 해준다. QUARK PLASM..

알고리즘이 tasks로 나눠진다. MPI를 통해 계속 Ascyhronous하게 task를 진행할수있다.

the MAGMA libraries were designed for heterogeneous architectures, including current investigations on new data layouts, functionalities, batched computations, and possibly generalizations to tensors, in order to provide applications new functionalities to deal efficiently with multi-dimensional data we transform the tensor contractions to batched GEMM. The kernels are organized as follows: (1) ..