MJay

요 약 기존의 빅데이터(BigData) 플랫폼에서는 분산 처리 환경(scale-out)을 기반으로 한 하둡(Hadoop)과 스파크(Spark)와 같은 분산 처리 프레임워크가 많이 사용되어 왔다. 하지만 최근 기술이 발달하여 매니코어(Many-core) 기술과 같은 고성능 컴퓨팅 서버가 보편화됨에 따라 여러 대의 서버로 구성된 분산 처리 환경 대신 한 대의 고성능 컴퓨터 환경(scale-up)에서 분산 처리 프레임워크를 구축하여 빅데이터를 처리하는 시도가 가능해졌다. 따라서 이러한 방법이 현실화되기 위해서는 코어 수 증가에 따른 성능 확장 (scalability)이 확보되어야 한다. 본 논문에서는 하둡 파일 시스템(HDFS)과 아파치 스파크(Apache Spark) 시스템을 120 코어로 구성된 단일 sc..

출처-https://jundols.com/2012/03/31/linux%EC%97%90%EC%84%9C-%EC%BD%98%EC%86%94-%EB%82%B4%EC%9A%A9%EC%9D%84-%ED%8C%8C%EC%9D%BC%EB%A1%9C-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0/ c좋다. 파이썬 스크립드를 sout.py라고 저장하고, 출력을 파일로 redirect 시도해보자. $ ./sout.py > test.txt I am stderr standard output은 redirect가 되었지만, stderr은 그대로 화면으로 보여진다. stderr을 refirect하고, stdour만 화면에 보여지게 하려면? ./sout.py 2> test.txt stdout 과 stderr 둘..

이진 파일 또는 바이너리 파일(binary file)은 컴퓨터 파일로 컴퓨터 저장과 처리 목적을 위해 이진 형식으로 인코딩된 데이터를 포함한다. 이를테면, 포맷 텍스트를 포함하는 컴퓨터 문서 파일을 들 수 있다. 많은 이진 파일 형식은 문자열로 해석될 수 있는 부분을 포함하고 있다. 포맷 정보가 없는 문자열 데이터만 포함하는 이진 파일은 완전한 텍스트 파일이라고 한다. 텍스트로만 이루어진 파일은 보통 이진 파일과 구분짓는데 이진 파일은 완전한 텍스트 이상의 무언가를 더 포함하고 있기 때문이다. 이진 파일을 텍스트 모드로 열면 다음 그림과 같이 글자가 깨진다.

aux는 뭐하는 파일일까? aux file is opened for writing in \begin{document} 이라고 한다 이게 어디있는지 찾아봐야겠다. aux파일에 begin document는 없다 \cite 에서 쓰이는 구먼 Reference는 어떻게 가져오는걸까? 어떻게 인용은 하는걸까 처음에 보면 \documentclass [confernece] {IEEEtran} 이게 뭘까? 온라인 Latex는 많은 패키지가 이미 인스톨 되어있다. Sharelatex 나 Overleaf가 있다. 처음에 Blank 로 시작해서 IEEE 템플릿을 다운받아야한다. ieeeconf.zip ieeetransBST.zip IEEtranhowto.pdf 이렇게 3가지가 있군 일단 여기까지만 하자 \usepackage..

요즘 Docker 공부를 많이 하고있다. Ubuntu-16.04 + CUDA + cuDNN 을 설치해주는 Dockerfile을 여러 시도 후에 완성시켰다. https://hub.docker.com/u/kmubigdata/dashboard/ FROM kmubigdata/ubuntu-1604 RUN NVIDIA_GPGKEY_SUM=d1be581509378368edeec8c1eb2958702feedf3bc3d17011adbf24efacce4ab5 && \ NVIDIA_GPGKEY_FPR=ae09fe4bbd223a84b2ccfce3f60f4b3d7fa2af80 && \ apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos..

Abstract The integration of informatization and industrialization is depth integration of informatization and industrialization in many fields, which is the new developing way for informatization and industrialization. It is a complicated process of integration for enterprises, which is necessary to learn from the experience of other enterprises to improve efficiency. But facing numerous cases, ..

정리 LightWeight Runtime Environment Programming 그래서 DLA와 Computation Application을 잘 디자인하는게 중요하다 현재 과제는 계산을 GPU,CPU,Coprocessor로 나눠서 쓰게 하는거랑 Balance Load, Idle Times 이다 A Programming Model refers to the style of programming where execution is invoked by making what appear to be library calls. 그래서 NEW API를 만들었다. lightweight superscalar runtime environment에서 이건 task scheduling을 자동으로 해준다. QUARK PLASM..

알고리즘이 tasks로 나눠진다. MPI를 통해 계속 Ascyhronous하게 task를 진행할수있다.

the MAGMA libraries were designed for heterogeneous architectures, including current investigations on new data layouts, functionalities, batched computations, and possibly generalizations to tensors, in order to provide applications new functionalities to deal efficiently with multi-dimensional data we transform the tensor contractions to batched GEMM. The kernels are organized as follows: (1) ..

웬만하면 5년안에 있는 IEEE, ACM 학회에서 나온 논문을 찾으라고 하신다 Best Student -> FInd Best Papers for your Advisor라고 한다.